Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
Metrics-in-the-Loop: Complexity Feedback Reshapes Agent-Written Code
TL;DR Highlight
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Who Should Read
코딩 에이전트에게 긴 작업을 맡겼다가 거대하고 복잡한 함수가 쌓여 유지보수가 걱정인 개발자
Core Mechanics
- 매 턴 복잡도 리포트를 넣었다
- 코드를 바꾼 턴이 끝날 때마다 cyclomatic complexity(함수 안의 독립 경로 수)가 6을 넘는 함수를 알려 준다.
- 학습, 정답 코드, 숨겨진 테스트가 필요 없는 플러그인(MITL)이다.
- erosion이 크게 줄었다
- erosion(복잡도 질량 중 복잡도 10 초과 함수가 차지하는 비율)이 Commit0와 SlopCodeBench에서 4개 모델 모두 유의하게 줄었다.
- SWE-EVO에서는 효과가 더 작았고 4개 모델 중 2개만 유의했다.
- 정확도는 올라가지 않았다
- held-out 테스트 통과율은 모델별로 모두 신뢰구간이 0을 포함했다.
- SlopCodeBench에서는 결합 피드백의 작은 손해를 배제할 수 없다고 저자들이 밝혔다.
- 에이전트는 리포트대로 고쳤다
- 지적된 함수를 Commit0에서 54–88%, SlopCodeBench에서 87–94% 다시 수정했다.
- 메시지의 98.2% 이상을 에이전트가 봤다.
- 단순 함수 쪼개기만은 아니다
- 함수를 쪼개 놓은 것을 되돌려(inlining) 봐도 erosion 차이가 Commit0에서 3–46%, SlopCodeBench에서 8–18% 남았다.
- 이 분석은 쪼개기의 인과 효과를 따로 증명하지는 않는다.
- 커버리지 피드백은 도움이 안 됐다
- 커버리지 피드백만 넣으면 erosion이 줄지 않았다.
- SlopCodeBench에서는 DeepSeek, GLM, Luna의 erosion을 오히려 올렸다.
Evidence
- Commit0 풀링 erosion 감소
- 복잡도 피드백(C)은 리마인더만 준 R 대비 E10이 −0.112 [−0.138, −0.087] 줄었다.
- 복잡도+커버리지(CT)는 R 대비 −0.078 [−0.097, −0.059]였다.
- SlopCodeBench 풀링 erosion 감소
- C는 R 대비 E10이 −0.246 [−0.261, −0.230] 줄었다.
- C와 CT 모두 모든 체크포인트에서 E10을 0.022 이하로 유지했다.
- 정확도 변화는 0 포함
- Commit0 CT−R 풀링 정확도는 +3.1p [−0.1, +6.3]였다.
- SlopCodeBench는 −1.7p [−3.6, +0.1], SWE-EVO fix rate는 +2.7p [−0.2, +5.6]였다.
- 리마인더만으로도 효과가 있었다
- SlopCodeBench에서 리마인더(R)는 피드백이 전혀 없는 B0 대비 E10을 0.133~0.383 낮췄다.
- Haiku는 R−B0이 −0.383으로 C−R의 −0.045보다 훨씬 컸다.
How to Apply
- 에이전트 작업 후 복잡도 검사 돌리기
- 오늘 코딩 에이전트가 만든 코드에 radon이나 lizard 같은 도구를 돌려 복잡도 6 초과 함수를 뽑아 본다.
- 그 목록을 에이전트에게 다시 붙여 넣어 리팩터링을 시킨다.
- 코드를 수정한 턴마다 리포트 주입하기
- 에이전트 하네스에서 파일이 바뀐 턴이 끝날 때마다 바뀐 함수만 측정한다.
- 한도(예: 6)를 넘는 함수를 높은 순으로 짧은 메시지로 다음 턴 컨텍스트에 넣는다.
- 리포트 효과와 리마인더 효과 분리하기
- 수치 없이 지시문만 넣는 대조군을 하나 만든다.
- 정확도(숨겨둔 테스트)와 erosion을 함께 비교한다.
- 커버리지 피드백은 단독으로 쓰지 않기
- 복잡도 피드백을 우선 넣고 커버리지는 따로 효과를 측정한다.
- 논문에서는 단독으로 erosion을 줄이지 못했다.
Try It
# Claude Code나 ChatGPT에 붙여넣기 — 논문 방법(MITL)의 간이 버전
아래는 네가 방금 수정한 코드다. cyclomatic complexity(함수 안의 독립 경로 수)가 6을 넘는 함수를 찾아라.
{{방금 수정한 코드}}
지시:
1. 복잡도가 6을 넘는 함수를 높은 순으로 나열하고 각 복잡도 추정값을 적어라.
2. 각 함수를 동작이 바뀌지 않게 리팩터링해 6 이하로 만들어라.
3. 리팩터링 후 기존 테스트가 모두 통과하는지 확인할 방법을 알려라.
이어서 해 볼 것: 에이전트가 파일을 바꿀 때마다 이 프롬프트를 반복해 보고 {{한도}}를 바꿔 본다.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
AgentRun: 실행할수록 똑똑해지는 오픈소스 매니지드 에이전트 플랫폼
에이전트가 매 실행 후 노트·스킬을 저장해 코드 리뷰 비용을 18센트로 낮췄다
Original Abstract (Expand)
Coding agents now write whole codebases in long autonomous runs, guided mainly by whether their tests pass. Yet passing tests alone does not reveal accumulating complexity or gaps in test coverage, which then persist as agents extend their own code. We introduce metrics-in-the-loop, an inference-time intervention that gives agents in-flight feedback: cheap, automatically computed code metrics injected into the agent's context during the trajectory. After each code-changing agent turn, we insert short feedback messages naming changed functions whose cyclomatic complexity exceeds a limit (complexity feedback) or changed lines that are skipped by tests (coverage feedback), giving the agent the opportunity to refactor code or strengthen tests before continuing. We run extensive experiments and ablations comparing several interventions across three long-horizon coding benchmarks and four strong models. We find that complexity feedback significantly reduces erosion, a measure of complexity concentration of code, without affecting held-out correctness of the code. Broadly, our experiments investigate a practical form of agent "re-railing", where timely, actionable measurements redirect agents before weaknesses become the foundation they keep building on. As agents scale to codebases with millions of lines, such interventions become critical to sustaining effective development and long-term code maintainability.