OpenAI, GPT-4o 파인튜닝에 DPO 방식 정식 지원—RLHF 없이 선호도 학습
OpenAI가 GPT-4o 및 GPT-4o mini 파인튜닝 API에 Direct Preference Optimization(DPO) 방식을 정식 추가했다. 기존 SFT(지도학습 파인튜닝)와 달리 '선호 응답 vs 비선호 응답' 쌍 데이터만으로 모델 행동을 조정할 수 있어, 별도 리워드 모델 없이 출력 스타일과 안전성 기준을 효율적으로 맞춤화할 수 있다.
DPO 파인튜닝이 SFT와 다른 점
SFT(Supervised Fine-Tuning)는 '정답 응답' 텍스트만을 학습 신호로 사용한다. 반면 DPO는 동일한 프롬프트에 대해 선호(chosen) 응답과 비선호(rejected) 응답 쌍을 제공하면, 별도의 리워드 모델이나 PPO 강화학습 루프 없이 직접 정책을 최적화한다. 이론적으로 RLHF 대비 학습 안정성이 높고 하이퍼파라미터 튜닝 부담이 적다.
OpenAI API에서는 기존 파인튜닝 엔드포인트(POST /v1/fine_tuning/jobs)에 method: "dpo" 파라미터를 추가하는 방식으로 호출한다. 데이터셋 포맷은 JSONL 파일에 prompt, chosen, rejected 세 필드를 포함하면 된다.
{"prompt": "코드 리뷰 의견을 작성해줘", "chosen": "간결하고 구체적인 피드백", "rejected": "모호하고 장황한 피드백"}
지원 모델 및 데이터 요건
- 지원 모델: GPT-4o(2026-05 이후 스냅샷), GPT-4o mini
- 최소 데이터셋 크기: 선호 쌍 50개 이상 권장, 실용적 품질 개선을 위해 500개 이상 권고
- 컨텍스트 길이: 파인튜닝 시 최대 128K 토큰 시퀀스 지원
- 학습 비용: 공식 페이지 참조 (SFT 대비 토큰당 비용 동일 구조 예정)
- beta 제한: 이미지 입력이 포함된 멀티모달 페어는 현재 미지원
한국 개발자·크리에이터 적용 시나리오
DPO는 특히 출력 톤·스타일 일관성이 중요한 서비스에 효과적이다. 예를 들어 법률 문서 요약 서비스라면 '지나치게 구어체인 응답'을 rejected로, '정확하고 격식체인 요약'을 chosen으로 구성하면 된다. 국내 크리에이터 툴 팀이라면 브랜드 보이스를 선호 쌍으로 정의해 콘텐츠 생성 일관성을 높이는 데 바로 적용할 수 있다. Weights & Biases 연동을 통한 훈련 지표 모니터링도 공식 지원되며, 파인튜닝 완료 후 배포까지 평균 소요 시간은 데이터 규모에 따라 30분~3시간 수준이다.