OpenAI, 강화학습 기반 파인튜닝 API 일반 공개—도메인 특화 추론 성능 강화

무엇이 달라졌나

OpenAI는 2026년 5월 16일부로 강화학습 기반 파인튜닝(RFT, Reinforcement Fine-Tuning) API를 Tier 3 이상 개발자에게 정식 개방했다. 기존 SFT(지도학습 파인튜닝)는 정답 레이블이 있는 데이터셋을 직접 학습하는 방식이었지만, RFT는 보상 함수(reward function) 를 정의해 모델이 정책을 스스로 최적화하도록 유도한다. 개발자는 Python SDK(openai.fine_tuning.jobs.create(method='reinforcement', ...)를 통해 보상 함수를 람다 형태로 전달하거나, JSON 스키마 기반의 규칙 보상을 사전 정의 방식으로 적용할 수 있다.

성능 수치 및 지원 모델

• 지원 모델: gpt-4o-2026-05 계열 (gpt-4o-mini 포함)
• 벤치마크: OpenAI 내부 평가 기준 복잡 추론 태스크 +28%, 코드 정확도(HumanEval++) +21%
• 학습 토큰 비용: 공식 페이지 참조 (SFT 대비 약 1.4배 수준으로 책정 예고)
• 최소 데이터 요구량: 보상 함수 방식 기준 샘플 500건 이상 권장, 규칙 기반은 200건부터 실험 가능
• 학습 시간: gpt-4o-mini 기준 1,000샘플 약 35분 (내부 테스트 환경)

한국어 태스크의 경우 법률 문서 요약, 의료 차트 분류 등 정답 정의가 어려운 고난도 도메인에서 SFT 대비 유의미한 차이가 확인되었다.

한국 개발자·크리에이터 실전 적용 포인트

1. 보상 함수 설계가 핵심이다 RFT의 품질은 얼마나 정교한 보상 함수를 설계하느냐에 달려 있다. 예를 들어 고객 응대 챗봇이라면 '응답 길이 페널티 + 키워드 포함 여부 + 사용자 만족도 시뮬레이션 점수'를 복합 보상으로 구성할 수 있다. OpenAI는 grader 오브젝트 형태의 보상 템플릿을 공식 문서에 10종 이상 제공한다.

2. 기존 SFT 데이터셋 재활용 가능 이미 보유한 SFT 데이터셋을 초기 warm-start로 사용한 뒤 RFT 루프를 추가하는 2단계 파이프라인이 권장된다. 콜드 스타트보다 수렴 속도가 약 40% 빠르다는 것이 OpenAI 권고 사항이다.

3. 비용 예측 및 실험 전략 학습 비용이 SFT보다 높으므로, 소규모 샘플(200~500건)로 보상 함수 유효성을 먼저 검증한 뒤 전체 데이터셋으로 확장하는 단계적 접근을 권장한다. fine_tuning.jobs.list()로 중간 체크포인트를 실시간 모니터링해 조기 종료 여부를 판단할 수 있다.