OpenAI, Batch API 처리 한도 10배 확대 및 우선순위 큐 도입

무엇이 바뀌었나

OpenAI는 2026년 7월 19일자로 Batch API 정책을 대폭 업데이트했다. 주요 변경점은 세 가지다.

• 일일 토큰 처리 한도: Tier 3 이상 기준 기존 1억 토큰/일 → 10억 토큰/일로 상향
• 우선순위 큐 도입: priority: "high" 파라미터를 요청 헤더에 추가하면 평균 완료 시간이 24시간에서 4~6시간으로 단축 (요금은 표준 Batch 요금과 동일, 공식 페이지 참조)
• 실패 재시도 로직 내재화: 개별 요청 실패 시 최대 3회 자동 재시도 후 error_detail 필드에 사유 반환—기존에는 전체 배치 실패로 처리되던 문제 해결

한국 개발자에게 실질적으로 미치는 영향

법률·특허·금융 분야의 대용량 문서 요약 파이프라인을 구축한 팀이 가장 큰 수혜를 받을 것으로 보인다. 기존에는 일일 한도 초과로 배치를 분할 스케줄링해야 했던 작업을 단일 잡(job)으로 처리할 수 있게 된다.

우선순위 큐는 특히 야간 배치 → 익일 오전 결과 확인 패턴을 유지하면서도 긴급 처리가 필요한 B2B SaaS 시나리오에 유용하다. 예를 들어 10만 건 분량의 계약서 검토를 오전에 요청해도 당일 업무 시간 내 결과 수령이 현실적으로 가능해진다.

# 우선순위 큐 사용 예시
client.batches.create(
    input_file_id="file-abc123",
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={"priority": "high"}  # 신규 파라미터
)

마이그레이션 시 체크리스트

1. Tier 확인: 한도 확대는 Tier 3(월 $50 이상 사용) 이상에만 즉시 적용. Tier 1~2는 단계적 롤아웃 예정
2. 재시도 로직 중복 제거: 기존에 클라이언트 측에서 직접 구현한 재시도 래퍼가 있다면 이중 재시도로 인한 과금 방지를 위해 비활성화 권장
3. error_detail 파싱 추가: 신규 필드가 결과 JSON에 포함되므로 파서 업데이트 필요
4. 비용 모니터링: 처리 한도 확대로 단기간 대량 소비가 가능해진 만큼 Usage 대시보드의 알림 임계값 재설정 권장

공식 요금 및 Tier별 상세 한도는 platform.openai.com/docs/guides/batch 참조.