LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

Who Should Read

Claude Code·Codex 같은 에이전트를 쓰면서 토큰 사용량과 캐시 미스 원인을 못 봐 답답한 개발자

Core Mechanics

• 공식 분석 화면은 쓸모가 없다
  • 제공사 Analytics 패널은 엔지니어용 시계열 토큰 통계가 아니라고 한다.
  • 저자는 거기서는 아무 결정도 못 내린다고 말한다.
• 프록시 하나로 여러 제공사를 묶는다
  • 여러 제공사·모델을 내가 통제하는 단일 엔드포인트로 쓸 수 있다.
  • 모델과 제공사를 바꿀 때 설정을 처음부터 다시 하지 않아도 된다.
• 어떤 키가 무엇을 불렀는지 로그로 남는다
  • 어떤 키가 어떤 모델을 어떤 클라이언트로 언제 호출했고 상태가 어땠는지 기록된다.
• 가상 API 키로 메인 키 노출을 줄인다
  • 작업·에이전트·하네스(에이전트 실행 틀)마다 가상 키를 따로 줄 수 있다.
  • 메인 키를 여기저기 흩뿌리지 않아도 된다.
• 캐시 미스 원인을 20초 만에 짚는다
  • 저자는 코딩 세션에서 캐시 미스가 나면 손으로 20초 안에 이유를 찾는다고 한다.
  • 자동화는 안 했지만 쓰는 프록시에 API가 있어 가능하다고 한다.
• 특정 제품은 추천하지 않고 직접 운영을 권한다

Community Reactions

• 프록시 없이 OTEL로 충분하다는 의견
  • Codex와 Claude Code는 OTEL 트레이스를 내보내서 툴 호출·프롬프트·토큰·비용을 볼 수 있다는 의견이다.
  • 프록시는 장애 시 팀 전체가 멈추는 단일 장애점이라는 지적이다.
• 구독이면 세션 파일이 낫다는 의견
  • 구독 사용자는 ~/.claude/projects/ 의 JSONL 파일을 모으는 편이 서브에이전트 구분 등에서 더 정리돼 있다는 의견이다.
  • 프록시는 API 요금제일 때 좋다는 의견이다.
• API 비용이 부담이라는 경험
  • Claude Max 20x($200/월)를 매주 한도 근처까지 쓰는데 API 키로는 2~3일 만에 $200이 찼다는 경험이다.
• LiteLLM 품질에 대한 우려와 대안
  • 샌드박스 에이전트에 가상 키를 발급하려고 LiteLLM 프록시를 세우는 사람이 있다.
  • 버그와 취약점을 걱정하는 의견이 있고 bifrost를 대안으로 쓰며 만족한다는 경험도 있다.

How to Apply

• Claude Code OTEL 출력부터 켜 보기
  • 오늘 Claude Code 모니터링 문서를 보고 OTEL 내보내기를 설정하라.
  • 토큰 사용량과 툴 호출이 어디에 찍히는지 확인하라.
• 에이전트마다 가상 키 발급하기
  • 프록시를 도입할 때 에이전트·샌드박스별로 가상 키를 따로 발급하라.
  • 제공사 원본 키는 샌드박스에 넣지 마라.
• 캐시 미스 조사용 로그 필드 정하기
  • 요청 로그에 키·모델·클라이언트·시각·상태를 남겨라.
  • 캐시 미스가 난 요청을 앞뒤 요청과 비교해 원인을 찾아라.
• 요금제에 맞는 관측 방식 고르기
  • API 요금제면 프록시를 세워라.
  • 구독이면 세션 JSONL이나 OTEL 수집을 먼저 시도하라.

Try It

# Claude Code에 붙여넣는 프롬프트 (원문 방법의 간이 버전)

내 LLM 호출 관측 설계를 도와줘. 아래 정보를 기준으로 답해줘.
- 사용 도구: {{Claude Code / Codex / 기타}}
- 요금제: {{API 키 / 구독}}
- 지금 보고 싶은 것: {{캐시 미스 원인 / 키별 사용량 / 모델별 비용}}

요청:
1. 위 상황에서 프록시, OTEL, 세션 로그 중 무엇이 맞는지 이유와 함께 골라줘.
2. 로그에 꼭 남겨야 할 필드(키, 모델, 클라이언트, 시각, 상태, 토큰 수)를 표로 만들어줘.
3. 캐시 미스가 났을 때 확인할 순서를 체크리스트로 줘.

이어서 해 볼 것: 실제 로그 몇 줄을 붙여넣고 캐시 미스 원인을 분석해 달라고 요청해 봐.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

• FLUX 3 Image Klein: 5.6B 오픈 웨이트 이미지 생성·편집 모델

  5.6B 오픈 웨이트로 8GB VRAM에서 돌고, 자체 평가 1위를 주장

Related Resources

• https://jrdsgl.com/if-you-dont-run-your-own-llm-proxy-how-the-fuck-do-you-even-know-whats-going-on/
• https://code.claude.com/docs/en/monitoring-usage
• https://opentelemetry.io/docs/collector/
• https://github.com/DEVtheOPS/opencode-plugin-otel
• https://github.com/Asymptote-Labs/agent-beacon
• https://github.com/kenn-io/agentsview
• https://github.com/Pythia-Software/pharos
• https://llama-dash.dev