OpenAI, GPT-4o 비전 파인튜닝 정식 GA — 이미지+텍스트 동시 학습 지원
OpenAI가 GPT-4o의 비전(Vision) 입력을 포함한 파인튜닝 기능을 정식 출시하며, 이미지와 텍스트를 함께 학습 데이터로 사용할 수 있게 됐다. UI 스크린샷 분류, 제품 이미지 설명 자동화 등 멀티모달 커스텀 모델이 필요한 개발팀의 진입 장벽이 크게 낮아질 전망이다.
무엇이 달라졌나
OpenAI는 기존에 텍스트 전용으로만 제공하던 GPT-4o 파인튜닝 API를 이미지+텍스트 혼합 학습 데이터로 확장했다. 학습 샘플 하나에 최대 10장의 이미지와 텍스트 메시지를 함께 포함할 수 있으며, 이미지는 JPEG·PNG·WEBP를 지원하고 장당 최대 20MB까지 허용한다.
파인튜닝된 모델은 추론 시에도 동일하게 Vision 입력을 받을 수 있어, 학습-서빙 파이프라인 전체를 하나의 모달리티로 통일할 수 있다.
기술 스펙 및 비용
| 항목 | 수치 | |---|---| | 최소 학습 샘플 수 | 10건(권장 50건 이상) | | 학습 시 이미지 해상도 자동 리사이즈 | 최장 변 1024px로 다운스케일 | | 학습 토큰 단가 | 공식 페이지 참조 | | 파인튜닝 모델 추론 입력(이미지 포함) | 공식 페이지 참조 | | 최대 동시 파인튜닝 잡 수 | 플랜별 상이, Tier 4 기준 10개 |
비용 상세는 platform.openai.com/docs/guides/fine-tuning에서 확인 가능하다.
한국 개발자 적용 사례
1. 디자인·UI 검수 자동화 피그마 또는 앱 스크린샷을 입력으로 받아 디자인 가이드라인 준수 여부를 판별하는 모델을 소규모 레이블 데이터로 빠르게 구축할 수 있다. 범용 GPT-4o 대비 도메인 특화 정확도를 높이면서 프롬프트 길이를 줄여 추론 비용을 절감하는 전략이 가능하다.
2. 커머스 상품 이미지 설명 생성 상품 이미지→한국어 상세 설명 자동 생성 파이프라인에서, 브랜드 톤앤매너가 반영된 설명문 스타일을 파인튜닝으로 고정할 수 있다.
3. 데이터 준비 시 주의점
- 학습 데이터 JSON은
messages배열 내content에type: image_url오브젝트를 삽입하는 방식으로 기존 Chat Completions 포맷과 동일하다. - 개인정보(얼굴, 주민번호 등)가 포함된 이미지는 OpenAI 이용 약관에 따라 학습 데이터 사용이 제한될 수 있으므로 반드시 마스킹 후 업로드해야 한다.
- 학습 완료된 모델의 이미지 처리 능력은 베이스 GPT-4o와 동일한 컨텍스트 윈도우(128K 토큰)를 공유한다.