Tokenomics: 에이전트 소프트웨어 개발에서 토큰이 어디에 쓰이는지 측정

Who Should Read

멀티 에이전트 코딩 파이프라인의 토큰 비용이 예측되지 않아 고민인 백엔드·플랫폼 개발자

Core Mechanics

• 코드 리뷰가 토큰의 59.4%를 먹는다
  • ChatDev 프레임워크로 GPT-5 추론 모델을 돌린 30개 개발 작업의 실행 기록을 분석했다.
  • 코드 리뷰 단계가 평균 59.4%로 가장 큰 비중을 차지했다.
• 입력 토큰이 평균 53.9%로 최다
  • 입력·출력·추론 토큰을 나눠 비교했더니 입력 토큰이 가장 큰 몫이었다.
  • 저자들은 에이전트 협업에 상당한 비효율이 있을 수 있다는 근거라고 본다.
• 비용은 생성이 아니라 검증·다듬기에서 난다
  • 처음 코드를 짜는 단계보다 자동 리팩터링·검증 단계에 비용이 몰린다고 결론 내렸다.
• 단계별로 쪼개서 측정하는 방법을 제시했다
  • ChatDev 내부 단계를 Design, Coding, Code Completion, Code Review, Testing, Documentation 여섯 개로 매핑했다.
  • 이 틀로 비용을 예측하고 워크플로를 최적화할 수 있다고 주장한다.
• 예비 결과라는 한계가 있다
  • 논문 스스로 preliminary findings라고 밝혔다.
  • 분석 대상은 ChatDev 한 프레임워크의 30개 작업이다.

Community Reactions

• 입력 쪽이 압도적이라는 경험
  • 본인 사용에서 입력:출력 비율이 약 10:1이라는 댓글이 있었다.
  • 코드 한 줄을 고치려고 에이전트가 100만 토큰을 읽기도 한다고 한다.
• 표본이 적어도 현장 경험과 맞는다는 의견
  • 30개 작업이라 적다고 생각했지만 코드 리뷰가 토큰 대부분을 쓴다는 점은 직접 본 것과 같다는 댓글이 있었다.
• AI 기능의 비용이 제대로 계산되지 않는다는 경험
  • 제품 데모에서 간단한 쿼리 하나가 25만 토큰을 쓰는 것을 봤다는 댓글이 있었다.
  • 토큰이 라이선스에 포함인데 예산 상한이 있는지 업체가 답하지 못했다고 한다.
• Copilot 요금 정책 변경으로 토큰이 이틀 만에 소진됐다는 경험
  • 토큰 가격이 임의적이라는 의견이 함께 나왔다.
• Tokenomics라는 용어가 이미 암호화폐 경제를 가리킨다는 지적이 있었다.

How to Apply

• 오늘 에이전트 로그에서 단계별 토큰 비율 뽑기
  • 최근 에이전트 실행 20~30건의 API 응답 usage 필드를 모아 단계(생성·리뷰·테스트)별로 합산하라.
  • 입력·출력·추론 토큰을 따로 적어 어디가 가장 큰지 확인하라.
• 리뷰 루프에 최대 반복 횟수 걸기
  • 리뷰-수정 반복에 상한 횟수를 두고 초과하면 중단하게 하라.
  • 상한 전후의 토큰 사용량과 통과율을 비교하라.
• 입력 컨텍스트를 줄이는 지점부터 최적화하기
  • 입력 토큰이 가장 큰 몫이므로 리뷰 단계에 넘기는 파일·히스토리를 변경된 부분 위주로 줄여라.
  • 줄이기 전후의 비용을 같은 작업으로 비교하라.
• 작업당 토큰 예산 알림 달기
  • 작업 단위로 토큰 총량을 기록하고 임계치를 넘으면 알림을 보내라.

Try It

# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 단계별 토큰 분석)

아래는 내 에이전트 실행 로그야. 각 호출을 Design, Coding, Code Completion, Code Review, Testing, Documentation 중 하나로 분류하고, 단계별로 input/output/reasoning 토큰 합계와 전체 대비 비율(%)을 표로 만들어줘.
그다음 가장 토큰을 많이 쓰는 단계 하나를 골라, 입력 토큰을 줄일 수 있는 방법 3가지를 제안해줘.

로그:
{{에이전트 실행 로그 또는 usage JSON}}

Terminology

관련 논문

• DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개

  DeepSeek가 프로덕션 추론 엔진 DeepInfer를 Apache-2.0으로 공개했다

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응

  DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

Related Resources

• https://arxiv.org/abs/2601.14470