토큰이란 무엇인가 — AI 가격 이해와 절약법

토큰이 뭔가

AI가 텍스트를 처리하는 최소 단위. 단어보다 작고 글자보다 큰 단위.

• 영어 단어 "hello" = 1토큰
• 영어 단어 "unbelievable" = 3토큰 (un·believe·able)
• 한국어 "안녕하세요" = 약 4~5토큰

한국어가 영어보다 비싼 이유

같은 의미를 표현할 때 한국어가 1.3~1.7배 토큰 사용. 즉 같은 작업도 한국어 비용이 약간 더 높음.

예: "AI는 인간의 도구다" (한국어, 약 12토큰) vs "AI is a human tool" (영어, 약 6토큰)

API 가격 이해

API는 "입력 1M 토큰당 $X / 출력 1M 토큰당 $Y" 식으로 과금.

예: Claude Sonnet 4.6 입력 $3 / 출력 $15 per 1M → 1만 토큰 입력 + 2천 토큰 출력 = $0.06 (약 80원)

비용 절약 5가지

1. 작은 모델 1차 라우팅 분류·태깅 같은 단순 작업은 Haiku 4.5나 Gemini Flash. 1/5 가격.

2. Prompt Caching 반복되는 시스템 프롬프트 캐싱하면 캐시 읽기 단가가 1/10. 50~90% 절감 가능.

3. Batch API 즉시 응답 안 필요하면 Batch로 50% 할인.

4. 출력 토큰 제한 max_tokens를 실제 필요한 만큼만. "5줄 이내" 같은 명시도 효과.

5. 컨텍스트 압축 전체 대화를 매번 보내지 말고 요약본만. RAG로 관련 청크만 주입.

가능한 토큰 줄이기

• 시스템 프롬프트는 짧고 명확하게
• 한국어 자모 분해 효율은 모델별로 다름. Claude 4.6+이 한국어 토큰 효율 양호.
• 파일 첨부 시 압축·요약 후 첨부

토큰 측정 도구

• Anthropic: client.messages.count_tokens() API
• OpenAI: tiktoken 라이브러리
• 직관적 비교: 토큰 비용 계산기 (8개 모델 동시)

핵심

토큰 = 비용 단위. 절약은 작은 모델 + 캐싱 + 짧은 프롬프트의 조합이 가장 효과적.