Gemini 2.5 Flash, '생각 예산' 토큰 제어 API 정식 공개
Google DeepMind가 Gemini 2.5 Flash의 추론 단계(thinking)에 소비되는 토큰 상한을 개발자가 직접 지정할 수 있는 'Thinking Budget' 파라미터를 Google AI Studio 및 Gemini API에 정식 반영했다. 간단한 태스크에는 추론 토큰을 최소화해 비용과 지연을 동시에 낮추고, 복잡한 코드 리뷰·수학 풀이에는 예산을 늘려 정확도를 높이는 식으로 워크로드별 최적화가 가능해진다. 한국 개발자들이 빌드하는 RAG 파이프라인이나 코딩 에이전트에서 응답 품질과 API 비용 사이의 트레이드오프를 코드 한 줄로 조정할 수 있다는 점에서 실무 영향이 크다.
Thinking Budget란 무엇인가
Gemini 2.5 Flash는 최종 답변을 생성하기 전 내부 추론('thinking') 단계를 거친다. 기존에는 이 추론 토큰 소비량을 개발자가 제어할 수 없었으나, 이번 업데이트로 thinkingConfig.thinkingBudget 파라미터가 정식 API에 노출됐다.
- 범위: 0 ~ 24,576 토큰 (0으로 설정 시 thinking 완전 비활성화)
- 기본값: 태스크 복잡도에 따라 모델이 자동 결정(auto 모드)
- 과금: thinking 토큰은 출력 토큰 단가와 동일하게 청구되므로 예산 제어가 곧 비용 제어
import google.generativeai as genai
model = genai.GenerativeModel("gemini-2.5-flash")
response = model.generate_content(
"다음 Python 코드의 시간복잡도를 분석하고 개선안을 제시해줘.",
generation_config=genai.GenerationConfig(
thinking_config=genai.ThinkingConfig(thinking_budget=8192)
)
)
print(response.text)
워크로드별 권장 설정
| 시나리오 | 권장 thinking_budget | 이유 | |---|---|---| | 단순 분류·요약 | 0 ~ 1,024 | 추론 불필요, 지연 최소화 | | 일반 코드 생성 | 4,096 | 품질·속도 균형 | | 복잡한 알고리즘 설계 / 수학 | 16,384 ~ 24,576 | 다단계 추론 필요 | | 실시간 챗봇 응답 | 0 (비활성화) | TTFB(첫 토큰 응답 시간) 우선 |
실험 결과, 코드 버그 탐지 태스크에서 budget=0 대비 budget=16384 설정 시 정답률이 약 18%p 향상됐고, 단순 JSON 변환 태스크에서는 budget=0으로 설정해도 품질 차이가 없어 비용을 최대 절반 가까이 줄일 수 있었다(Google 공식 벤치마크 기준).
한국 개발자 적용 시나리오
RAG 파이프라인: 검색된 청크가 많고 질문이 복잡할 때만 budget을 동적으로 높이는 라우팅 로직을 추가하면 전체 API 비용을 예측 가능하게 관리할 수 있다.
코딩 에이전트: PR 리뷰 요청처럼 정확도가 중요한 태스크와 자동완성처럼 속도가 중요한 태스크를 같은 모델로 처리하면서 budget 값만 달리 지정하면 별도 모델 라우팅 없이 단일 엔드포인트로 해결된다.
비용 캡 구현: 월 토큰 예산을 설정해 두고, 사용량이 임계치에 근접하면 자동으로 thinking_budget을 낮추는 미들웨어를 붙이면 예상치 못한 청구를 방지할 수 있다.
모델 단가 및 최신 한도는 Google AI Studio 공식 페이지 참조.