Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
Why is Gemini 4 Carbon taking so long?
TL;DR Highlight
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Who Should Read
코딩 에이전트에 새 LLM을 붙였다가 응답 시간과 비용이 예상보다 크게 늘어 원인을 찾는 백엔드 개발자
Core Mechanics
- 같은 버그 수정에 1시간 걸렸다
- 비공개 평가에서 Carbon은 Opus와 Astra가 몇 분에 끝내는 작업에 1시간 가까이 썼다.
- 작업은 증상만 적힌 버그 리포트로 원인을 찾아 불필요한 변경 없이 고치는 것이다.
- 추론 속도는 일부 원인일 뿐이다
- 느린 추론은 Astra 대비 Carbon 추가 시간의 16~30%를 설명한다.
- Opus 대비로는 45~49%를 설명한다.
- 나머지는 궤적(에이전트가 밟은 단계 수)이 길어서다.
- 일 자체를 훨씬 많이 한다
- Astra 대비 단계 수는 약 7배, 파일 읽기·명령 실행 같은 액션은 11배다.
- 대화가 매 단계 다시 전송되어 입력 처리량은 16배 넘게 많다.
- 단계의 절반은 티켓에 없던 일이었다
- 원인을 찾은 뒤에도 수정에 필요 없는 코드까지 점검했다.
- 티켓 사실로 이미 배제된 경우까지 막는 방어 코드를 넣었다.
- 체크인을 넣으니 37분이 28분으로 줄었다
- 5턴마다 "수정할 만큼 충분히 알고 있나?"를 주입하는 하니스(에이전트 실행 틀)로 한 건을 다시 돌렸다.
- 원인 지목부터 첫 수정까지 25분이 약 10분으로 줄었다.
- 모른다기보다 행동 습관 문제로 보인다고 원문은 말한다.
- 필수 작업도 비효율적이다
- 한 단계당 도구 호출이 Astra는 2개 넘고 Carbon은 약 1개다.
- 읽은 줄 중 이미 본 줄이 Carbon 39%, Astra 7%다.
- 이 두 가지가 초과 실행 시간의 약 25%를 차지한다고 원문은 추정한다.
- 하니스나 effort 설정 탓이 아니었다
- opencode와 mini-SWE-agent에서도 의미 있는 차이가 없었다.
- low로 낮추면 같은 코드를 계속 다시 읽다 수정 자체를 못 내는 경우가 많았다.
Community Reactions
- Carbon은 느리지만 결과가 좋다는 경험
- 결과를 계속 확인할 필요가 없고 작업 품질이 Opus 5.5에 가깝다는 의견이 있었다.
- 큰 컨텍스트 덕분인지 깊은 분석과 최적화 제안이 뛰어났다는 경험도 있었다.
- 불필요한 작업이 기능일 수도 있다는 의견
- 먼 코드의 새 버그를 짚고 죽은 코드를 찾아줘서 리뷰용으로 쓴다는 사용자가 있었다.
- 반면 요청 이상을 하는 과한 적극성이 싫다는 반론도 있었다.
- 하니스의 주입 문구를 지웠더니 나아졌다는 경험
- 하니스가 매 턴 "요청 이상으로 선제적으로 하라"는 문구를 넣고 있어 제거했더니 개선됐다는 댓글이 있었다.
- 원문은 하니스를 바꿔도 같았다고 해서 학습에 내재된 습관일 수 있다는 의견도 붙었다.
- 다른 벤치에서도 비슷한 수치가 나왔다는 경험
- 146번 대결에서 Carbon은 완료 시간 6분 8초로 상대 2분 4초보다 길었고 도구 호출은 21회 대 11회였다.
- 끝까지 기다린 투표에서는 83승 52패, 조기 투표에서는 2승 40패였다.
- 중단 규칙을 줘서 우회했다는 경험
- 프롬프트 박스에서 TURN_STEPS_EXCEEDED 오류가 났고 effort 예산이나 중단 규칙을 정해야 풀렸다는 댓글이 있었다.
- OpenRouter에서는 첫 토큰이 5분 넘게 걸려 타임아웃이 난다는 경험도 있었다.
How to Apply
- 에이전트 프롬프트에 중단 규칙 넣기
- 오늘 코딩 에이전트의 시스템 프롬프트에 "원인을 찾았으면 수정에 필요한 것만 하고 멈춰라"를 추가하라.
- 같은 작업의 소요 시간과 단계 수를 전후로 비교하라.
- N턴마다 체크인 메시지 주입하기
- 에이전트 루프에서 5턴마다 "수정할 만큼 충분히 알고 있나?"를 사용자 메시지로 끼워 넣어라.
- 원인 지목부터 첫 수정까지의 걸린 시간을 로깅해 효과를 측정하라.
- 모델 비교에 시간·단계·토큰 함께 기록하기
- 새 모델을 평가할 때 정답률뿐 아니라 소요 시간, 단계 수, 도구 호출 수, 입력 토큰을 같이 남겨라.
- 가격표 대신 작업당 총 비용으로 비교하라.
- 하니스의 선제 행동 문구 점검하기
- 하니스가 매 턴 주입하는 지시문에 "요청 이상으로 하라" 같은 문구가 있는지 확인하고 있으면 제거하라.
- 제거 전후로 불필요한 변경이 줄었는지 비교하라.
Try It
# Claude Code 또는 코딩 에이전트의 시스템 프롬프트/첫 지시에 붙여넣기 (원문 체크인 아이디어의 간이 버전)
너는 버그 수정 에이전트다. 아래 규칙을 지켜라.
- 버그 리포트의 증상에서 원인 코드 경로를 찾는다.
- 원인을 찾았으면 수정에 필요한 파일만 고친다.
- 리포트 사실로 이미 배제된 경우를 막는 방어 코드는 추가하지 않는다.
- 이미 읽은 파일은 다시 읽지 않는다. 여러 파일은 한 번에 함께 읽는다.
- 5번 도구를 호출할 때마다 스스로 "지금 수정할 만큼 충분히 알고 있나?"를 묻고, 그렇다면 바로 수정한다.
버그 리포트: {{버그 리포트}}
수정이 끝나면 변경 파일 목록과 각 변경이 필요한 이유를 한 줄씩 써라.
이어서 해 볼 것: 같은 버그로 규칙을 넣기 전과 후의 소요 시간과 도구 호출 수를 비교해 보라.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
AgentRun: 실행할수록 똑똑해지는 오픈소스 매니지드 에이전트 플랫폼
에이전트가 매 실행 후 노트·스킬을 저장해 코드 리뷰 비용을 18센트로 낮췄다