OpenAI, GPT-4o 선호도 최적화 파인튜닝 정식 GA
OpenAI가 GPT-4o를 대상으로 DPO(Direct Preference Optimization) 기반 선호도 파인튜닝을 정식 출시했다. 기존 지도 학습 파인튜닝과 달리 '좋음/나쁨' 응답 쌍만 있으면 모델 어조·스타일·거부 패턴을 브랜드에 맞게 조정할 수 있다. 한국어 커스텀 AI 서비스를 운영하는 개발자라면 라벨링 비용을 크게 줄이면서 응답 품질을 높일 수 있다.
선호도 최적화 파인튜닝이란
DPO는 사람이 선택한 '선호 응답(chosen)'과 '비선호 응답(rejected)' 쌍을 학습 데이터로 사용해 모델이 선호 방향으로 출력을 이동시키는 기법이다. OpenAI 플랫폼에서는 JSONL 형식으로 { "prompt": "...", "chosen": "...", "rejected": "..." } 구조의 데이터셋을 업로드하면 된다. 최소 학습 쌍은 64개로, 기존 SFT(지도 학습 파인튜닝)의 최소 10개보다 요건이 높지만 어노테이션 작업 부담은 낮다.
가격 및 지원 모델
학습 비용은 공식 페이지 참조. 현재 지원 모델은 gpt-4o-2026-08 스냅샷이며, gpt-4o-mini 지원은 추후 예정이다. 파인튜닝된 모델의 추론 요금은 표준 GPT-4o 요금과 동일하다. 학습 완료까지 데이터셋 규모에 따라 30분~4시간 소요된다고 공식 문서는 안내한다.
한국 개발자 활용 시나리오
한국어 고객 응대 챗봇, 브랜드 보이스가 중요한 커머스 카피 생성기, 민감 발언 거부 패턴 강화가 필요한 교육 플랫폼 등에서 즉시 적용 가능하다. 기존에는 시스템 프롬프트 엔지니어링만으로 어조 일관성을 유지하기 어려웠으나, 선호도 파인튜닝을 적용하면 수백 개의 쌍만으로도 눈에 띄는 스타일 고정 효과를 얻을 수 있다. Weights & Biases 등 MLOps 툴과 연동해 선호도 분포를 시각화하는 파이프라인 구성도 권장된다.