모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
Not Everything Needs an LLM
TL;DR Highlight
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
Who Should Read
LLM 호출 비용과 지연 때문에 간단한 판별 작업까지 큰 모델에 보내고 있는 백엔드 개발자
Core Mechanics
- decision model은 확률이 붙은 답을 준다
- 질문을 구조화해 던지면 'Yes, 0.99'처럼 타입이 있는 답과 확률이 돌아온다.
- 잘 보정된(calibrated) 모델이면 0.8점 답은 약 80%가 맞고, 0.5는 동전 던지기다.
- 비싼 LLM 호출 앞의 문지기로 쓴다
- 원문은 frontier 모델 대비 최대 444.6배 싸고 193.6배 빠르다고 한다(TypeSafe AI 인용).
- Replay Vision의 개인정보 제거 파이프라인에서 요약을 yes/no 질문 2개로 검사하고 0.4 이상이면 Gemini로 다시 쓴다.
- 운영에서 98.7%가 LLM 호출 없이 통과한다.
- 임계값은 실수 비용으로 정한다
- 0.85점이어도 1,000번 중 약 150번은 틀린다.
- PII는 false negative가 더 위험해 임계값을 0.4로 낮췄다.
- Slack 봇은 false positive가 거슬려서 0.85 이상만 통과시킨다.
- 모델 라우터로도 쓴다
- 선택지마다 짧은 설명을 붙이고 '첫 시도에 성공할 가장 싼 옵션'을 고르게 한다.
- 임계값은 작업·모델·버전마다 달라서 Error Tracking에서는 v1과 v2 사이에도 바뀌었다.
- 한 번에 판단할 수 있게 입력을 미리 다듬어야 한다
- 임베딩으로 후보를 먼저 추린 뒤 각 결과가 검색어와 맞는지만 물어 재정렬했다.
- 20개 테스트 쿼리에서 랭킹 품질이 약 25% 좋아졌다.
- 다단계 추론은 맞지 않았고, 세션 최대 32개(각 12~38k 토큰)를 보낸 시간별 작업이 모델 서버를 몇 시간 막았다.
- 열린 문제에는 아직 LLM이 맞다
- PR 리뷰 에이전트 결과 랭킹은 AUC 0.52로 결론이 안 났다.
- Jev는 요청당 기본 64k, 질문당 32k 토큰이고 long-context 모드는 더 느리고 부정확하다.
- 모르면 추론 후 결정하는 하이브리드 Jeeves가 PostHog의 기본값이다.
Community Reactions
- 모델 라우터는 위험하다는 의견
- 라우팅 대상 모델이 decision model보다 새로우면 짧은 설명 말고는 능력을 알 수 없다는 의견이 있었다.
- 확률값 자체를 어떻게 믿느냐는 반론
- 0.85가 실제로 0.75나 0.9일 수도 있는데 왜 믿느냐는 질문이 나왔다.
- 보정(calibration) 근거가 필요하다는 지적이다.
- evals 없이는 비싼 LLM이 안전하다는 의견
- 온라인·오프라인 eval을 제대로 못 돌리면 가장 비싼 LLM을 쓰는 편이 낫다는 의견이 있었다.
- 나쁜 eval이 실제 분포를 반영하지 못해 제품이 망가진 사례를 봤다고 했다.
- 구조화 출력과 뭐가 다르냐는 의견
- GPT-4 시절부터 structured JSON output을 써 왔고 Jev가 왜 화제인지 모르겠다는 의견이 있었다.
- decision model이 결국 지시문으로 응답을 제한한 LLM 아니냐는 의견도 있었다.
- 고객 데이터와 PII 사용에 대한 우려
- 고객 데이터에 쓰면 안 된다는 의견이 있었다.
- PII 보호를 예시로 든 것이 부적절하다는 의견도 있었다.
How to Apply
- 오늘 비용 큰 LLM 호출 하나에 문지기 질문 붙이기
- 요청 로그에서 대부분 통과·무시되는 호출을 하나 골라라.
- 그 앞에 yes/no 질문 1~2개로 필요 여부를 확인하는 단계를 넣어라.
- 질문은 좁게 쓰고 통과 비율부터 측정해라.
- 임계값을 오류 비용 기준으로 정하기
- false positive와 false negative 중 더 비싼 쪽을 적어라.
- 놓치면 위험한 작업은 임계값을 낮추고, 거슬리는 작업은 높여라.
- 손으로 라벨링한 샘플로 모델이나 버전을 바꿀 때마다 다시 보정해라.
- 복잡한 판단은 전처리 후 단일 질문으로 쪼개기
- 순위 매기기 같은 작업은 임베딩 검색으로 후보를 먼저 줄여라.
- decision model에는 후보 하나가 조건에 맞는지만 물어라.
- 다단계 추론이 필요하면 LLM에 남겨라.
- 임계값을 설정으로 빼고 shadow mode로 돌리기
- 임계값을 프로젝트·작업별 설정값으로 두어라.
- 새 모델 교체 시 판정만 기록하는 shadow mode로 먼저 돌려 비교해라.
Try It
# Claude나 ChatGPT에 붙여넣기 (원문 decision model 방식을 프롬프트로 흉내 낸 간이 버전)
너는 decision model처럼 동작한다. 설명 없이 JSON만 출력해라.
형식: {"answer": "yes" 또는 "no", "probability": 0~1}
질문 1: 아래 텍스트가 실존 인물의 이름을 언급하는가?
질문 2: 아래 텍스트가 연락처나 ID를 보여주는가?
텍스트: {{문서}}
각 질문마다 JSON 한 줄씩 출력해라.
이어서 해 볼 것: 샘플 문서 20개를 넣어 직접 라벨과 비교하고, 임계값 0.4와 0.85에서 놓친 것과 잘못 잡은 것이 몇 개인지 세어 봐라.Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습
NVIDIA가 AI 스타트업에 투자해 GPU 부족을 키웠다는 WSJ 보도
WSJ: NVIDIA가 투자한 스타트업이 다시 NVIDIA GPU를 사게 했다는 의혹