Gemini Decisions API: 생성 없이 한 번에 점수를 매기는 판단 전용 엔드포인트
Gemini Decisions API
TL;DR Highlight
답변 생성 없이 최대 1,000개 질문을 한 번에 점수화, 150-250ms
Who Should Read
쿼리 라우팅·정책 검사·콘텐츠 채점에 LLM을 붙였다가 지연과 비용 때문에 고민인 백엔드 개발자
Core Mechanics
- 토큰을 생성하지 않고 점수만 낸다
- gemini-decision-1은 후보 선택지를 한 번의 forward pass(모델 한 번 통과)로 채점해 확률과 confidence 점수를 돌려준다.
- 엔드 투 엔드 지연은 150-250ms, 모델 연산 중앙값은 50-100ms다.
- 질문 3종을 한 요청에 섞는다
- noul은 예/아니오 확률, choice는 2~255개 선택지 중 승자와 정규화된 확률을 준다.
- score는 0부터 시작하는 순서형 루브릭으로 가중 점수와 단계별 확률을 준다.
- 입력 하나에 질문 최대 1,000개
- 텍스트·이미지·오디오·비디오·PDF를 섞어 최대 256K 토큰까지 넣을 수 있다.
- 공유 입력은 요청당 한 번만 과금되고 질문마다 지시문과 기준 토큰만 추가된다.
- 가격은 입력 토큰만 낸다
- 입력 100만 토큰당 $0.10이고 출력 토큰은 $0이다.
- 썽킹 토큰, 오디오 전사, OCR 비용이 따로 붙지 않는다.
- Interactions API의 Gemini 3.5 Flash-Lite 대비 약 5배 저렴
- 원문이 말한 공유 벤치마크 스위트 기준 비교다.
- 에이전트 라우팅·추론·랭킹·멀티모달 벤치마크에서 가장 앞서고 calibration error(확률이 실제 정답률과 어긋나는 정도)가 가장 낮다고 한다.
- Google 내부에서는 제어 계층으로 쓴다
- Gemini Notebook은 질의를 모델 등급과 thinking level로 라우팅해 지연을 최대 40% 줄였다.
- Google Search는 MCP 도구의 악의적 행동 탐지에, CC는 200개 넘는 이모지 중 반응 고르기에 쓴다.
Community Reactions
- 다른 decision 모델보다 약간 비싸지만 오디오·비디오 입력이 되는 점이 강점이라는 의견
- 이 두 입력이 필요한 경우에만 특히 쓸모가 있다고 했다.
- 자체 간이 평가에서 Jev 대비 Brier(확률 예측 오차) 점수가 2~6배 낮았다는 경험
- 작업에 따라 달랐고 p50 지연도 100ms 넘게 낮았다.
- 다만 평가 전체 비용은 2배였다고 한다.
- 생성형 모델을 추론 없이 분류에 쓰는 게 의미 있냐는 반론
- 사전학습된 일반 지식 말고 직접 분류기를 학습시키는 것과 뭐가 다른지 모르겠다는 의견이 있었다.
- 로컬·CPU 실행이 필요하면 별도 분류기가 대안이라는 의견
- 사전학습 분류기와 학습 도구를 주는 jeffyclassify.com이 언급됐다.
- 이름이나 신분을 바탕으로 한 차별적 판단에 쓰일 수 있다는 우려도 나왔다.
How to Apply
- 지금 쓰는 라우팅 프롬프트 하나를 choice 질문으로 옮겨 보기
- 오늘 AI Studio에서 API 키를 받아 무료 티어로 의도 분류 하나만 옮겨라.
- 선택지를 criteria에 설명으로 적고 기존 LLM 생성 호출과 지연을 비교하라.
- confidence 임계값으로 사람 검토 분기 만들기
- 정책 검사나 콘텐츠 채점 결과에서 confidence가 낮은 건은 폴백 모델이나 리뷰어 큐로 보내라.
- 임계값은 직접 라벨링한 샘플로 정하라.
- 한 입력에 질문을 묶어 호출 수 줄이기
- 같은 문서에 대한 여러 검사를 한 요청의 questions에 몰아넣어라.
- 같은 질문의 변형을 여러 개 넣어 확률을 교차 확인하라.
- 오디오·PDF 판단 파이프라인에서 전사·OCR 단계 빼 보기
- 통화 녹음이나 스캔 PDF를 바로 입력으로 넣어 기존 결과와 비교하라.
- 정확도와 비용을 함께 측정한 뒤 단계 제거 여부를 정하라.
Try It
# 터미널에서 실행 (pip install google-genai, GEMINI_API_KEY 환경변수 필요)
from google import genai
client = genai.Client(http_options={"api_version": "v1beta"})
result = client.decisions.create(
model="gemini-decision-1",
input=[{"type": "text", "text": "{{분류할 문장}}"}],
questions={
"route": {
"type": "choice",
"instructions": "Which tier should handle this query?",
"criteria": {
"fast_model": "Simple everyday question.",
"reasoning_model": "Complex task needing deep reasoning.",
},
},
"needs_human": {
"type": "noul",
"instructions": "Does this need a human reviewer?",
},
},
)
print(result)
# 이어서 해 볼 것: 결과의 confidence가 낮을 때 폴백으로 보내는 분기를 추가해 보기Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습