Meta, Llama 4 Scout 한국어 파인튜닝 공식 레시피·데이터셋 오픈소스 공개
Meta가 Llama 4 Scout(17B 활성 파라미터) 모델의 한국어 특화 파인튜닝 레시피와 함께 약 120만 건 규모의 한국어 인스트럭션 데이터셋을 Hugging Face에 공개했다. 8×H100 이하 환경에서 재현 가능하도록 설계돼 국내 스타트업과 1인 크리에이터도 커스텀 모델을 빌드할 수 있는 문턱이 크게 낮아졌다. 한국어 BLEU·ROUGE 지표가 기존 베이스 모델 대비 각각 18%, 22% 향상됐다고 Meta는 밝혔다.
공개 내용 상세
Meta가 공개한 패키지는 세 가지로 구성된다:
- 한국어 인스트럭션 데이터셋 (
meta-llama/llama4-scout-ko-instruct-v1): 뉴스 요약, 코드 주석 생성, 법률 문서 변환 등 12개 도메인, 총 120만 건. CC-BY 4.0 라이선스. - 파인튜닝 레시피: LoRA rank 64, alpha 128 설정 기준 8×H100(80GB) 환경에서 약 18시간 내 완료 가능. QLoRA 4-bit 옵션으로 4×A100(40GB)에서도 동작.
- 평가 스크립트: KoBEST 벤치마크 자동 채점 포함.
성능 및 비용 지표
| 구분 | 베이스 Scout | 한국어 파인튜닝 후 | |---|---|---| | KoBEST 평균 | 61.4 | 72.8 | | 한국어 BLEU | 38.2 | 45.1 (+18%) | | 한국어 ROUGE-L | 41.7 | 50.8 (+22%) | | 추론 속도(A10G 기준) | 42 tok/s | 41 tok/s (거의 동일) |
Llama 4 Scout는 MoE 아키텍처로 활성 파라미터 17B, 총 파라미터 109B. 추론 시 실제로 사용되는 파라미터가 적어 동급 밀집 모델 대비 서빙 비용이 낮다. AWS, GCP, Azure 등 주요 클라우드의 Llama 호스팅 가격은 각 공식 페이지 참조.
한국 개발자·크리에이터 활용법
빠른 시작 (Hugging Face + transformers):
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "meta-llama/Llama-4-Scout-17B-16E-Korean-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
messages = [{"role": "user", "content": "다음 Python 코드에 한국어 주석을 추가해줘: def add(a, b): return a+b"}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
크리에이터 활용 시나리오:
- 유튜브 스크립트 자동 초안 생성 (한국어 구어체 도메인 포함)
- 블로그 포스트 요약·SEO 메타 태그 생성
- 고객 응대 챗봇 커스터마이징 (별도 API 비용 없이 로컬 운영 가능)
라이선스는 Llama 4 Community License를 따르며, 월간 활성 사용자 7억 명 초과 서비스는 Meta에 별도 라이선스 신청이 필요하다. 국내 대부분의 스타트업과 개인 프로젝트는 해당 제한에 걸리지 않는다.