Anthropic Batch API, 비동기 처리로 단가 50% 할인

어떤 경우에 쓰나

실시간 응답이 필요 없는 워크로드. 예:

• 고객 통화 녹취록 야간 일괄 요약
• 수만 건 리뷰 감정 분류
• 로그 이상 탐지 배치
• 대량 이미지 캡션 생성 (비전 모델)

핵심 특징

• 단가 50% 할인 (모든 라인업)
• 24시간 내 완료 보장 (실제론 훨씬 빠른 경우 많음)
• 최대 100,000건 / 배치
• 요청당 1MB / 배치당 100MB 한도

사용 흐름

1. JSONL 파일로 요청 목록 준비
2. POST /v1/messages/batches 로 제출
3. 주기적으로 상태 조회 또는 webhook 대기
4. 완료되면 결과 JSONL 다운로드

코드 예

const batch = await client.messages.batches.create({
  requests: records.map((r, i) => ({
    custom_id: `req-${i}`,
    params: {
      model: "claude-haiku-4-5",
      max_tokens: 512,
      messages: [{ role: "user", content: r.text }],
    },
  })),
})

// 폴링 또는 webhook 수신 후
const results = await client.messages.batches.results(batch.id)
for await (const result of results) {
  console.log(result.custom_id, result.result)
}

비용 절감 예

• 5만 건 분류 작업, 평균 입력 800 + 출력 50 토큰 (Haiku 4.5)
• 실시간 API: 50,000 × (800 × $1/M + 50 × $5/M) = $52.50
• Batch API: 50% 할인 = $26.25
• 실시간성이 아예 필요 없다면 무조건 Batch

Prompt Caching 과 병용

Batch API + Prompt Caching 조합도 가능. 공통 프롬프트가 있는 수만 건 작업이라면 90% 이상 비용 절감이 현실적.