Termination Lag: 코딩 에이전트는 일찍 풀고 늦게 멈춘다
Termination Lag: Coding Agents Solve Early but Stop Late
TL;DR Highlight
코딩 에이전트는 첫 수정에서 38–82%가 정답인데, 이후 스텝 35–60%를 더 쓴다
Who Should Read
코딩 에이전트(OpenHands 등)를 돌리는데 토큰 비용과 실행 시간이 너무 길어 고민인 백엔드·플랫폼 개발자
Core Mechanics
- 첫 수정이 이미 정답인 경우가 많다
- 정답에 도달한 실행 중 첫 소스 수정이 이미 정답인 비율은 설정별로 38–82%다.
- Qwen3-Coder는 SWE-bench Verified에서 82%였다.
- 정답 이후에도 스텝의 35–60%를 더 쓴다
- 이 지연을 termination lag(첫 정답 패치 이후 종료까지의 스텝 수)라고 부른다.
- 성공한 실행에서 Qwen3-Coder는 중앙값 35–37%, Laguna-XS.2는 54–60%가 정답 이후 스텝이었다.
- 남는 스텝은 대부분 검증과 탐색이다
- 정답 이후 스텝 중 검증(테스트 실행, 체크 작성, 빌드)이 48–63%다.
- 파일 보기·코드 검색 같은 탐색이 15–29%다.
- 소스를 다시 고치는 비율은 대부분 2–6%로 낮다.
- 계속 일하다 정답을 망가뜨리기도 한다
- 정답 패치에 도달한 실행 중 1–8%는 이후 수정으로 깨져 오답으로 끝났다.
- 첫 정답에서 멈췄다면 피할 수 있었던 실패다.
- 최종 점수만 보면 이 낭비가 안 보인다
- 같은 step 10에서 풀어도 바로 제출한 에이전트와 40스텝을 더 쓴 에이전트가 같은 점수를 받는다.
- 저자들은 정답 만들기와 끝났음을 알아보기를 별개 능력으로 본다.
Evidence
- Qwen3-Coder 중앙값 지연 16스텝, 비율 35%
- SWE-bench Verified에서 풀린 과제 기준이며, Multilingual은 18스텝, 37%다.
- 정답 이후 컨텍스트는 Verified +30%, Multilingual +28% 늘었다.
- Laguna-XS.2는 지연이 더 길었다
- Verified에서 중앙값 57스텝, 60%였다.
- Multilingual에서는 56스텝, 54%였다.
- 상용 모델에서도 같은 패턴
- Claude Haiku 5.5는 Verified에서 중앙값 10스텝, 54%였다.
- GPT-6 Luna는 Verified에서 6스텝, 36%였다.
- 정답 시점에 멈추는 oracle(정답을 아는 가상 규칙)의 절감 효과
- 풀린 실행에서 궤적 스텝의 중앙값 35%(Qwen3-Coder Verified), 37%(Multilingual)를 줄인다.
- 푼 과제는 하나도 잃지 않는다.
How to Apply
- 내 에이전트 로그에서 첫 통과 시점 찾기
- 오늘 스텝마다 repo diff를 저장하고 테스트를 오프라인으로 돌려 TTFCP와 TL을 계산하라.
- 에이전트에는 결과를 피드백하지 말고 측정만 하라.
- 정답 이후 스텝을 종류별로 분류하기
- 툴 호출을 검증·탐색·수정·마무리로 나눠 비율을 집계하라.
- 검증과 탐색이 절반 이상이면 종료 규칙 설계 대상으로 삼아라.
- 중복 검증 상한을 정책으로 걸기
- 테스트가 통과하고 diff를 한 번 재확인했으면 제출하도록 프롬프트에 명시하라.
- 논문은 이런 규칙을 검증한 것이 아니라 절감 상한만 측정했으므로, 적용 후 자체 벤치마크로 점수 하락 여부를 확인하라.
- 평가에 효율 지표 추가하기
- 최종 해결률과 함께 NTL(정답 이후 스텝 비율)을 대시보드에 올려라.
- 모델이나 프레임워크를 비교할 때 둘을 같이 봐라.
Try It
# Claude Code나 에이전트 시스템 프롬프트에 붙여넣기 (논문 방법의 간이 버전: 종료 규칙 프롬프트)
당신은 코드 수정 에이전트다. 아래 종료 규칙을 지켜라.
1. 이슈를 재현하는 테스트나 기존 관련 테스트가 통과하면 정답 후보로 본다.
2. 정답 후보가 생기면 git diff를 한 번만 확인한다.
3. 그다음 추가 탐색, 새 테스트 작성, 리팩터링 없이 바로 제출한다.
4. 이미 통과한 코드는 새 근거 없이 다시 수정하지 않는다.
작업: {{이슈 설명}}
이어서 해 볼 것: 같은 과제 {{과제 수}}개를 규칙 있이/없이 돌려 해결률과 총 스텝 수를 비교해 보세요.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
Original Abstract (Expand)
Coding agents can solve a task well before they stop working on it. We characterize \emph{termination lag}--the number of steps between an agent's first correct patch and the end of its run--across five models, two agent frameworks, and three SWE-bench datasets by recording and testing every distinct repository patch generated during execution. Our analysis reveals that 38--82% of successful runs achieve a correct solution on their initial source-code edit. However, agents continue to expend substantial effort after correct patches, with post-solution steps accounting for a median of 35--37% for Qwen3-Coder and 54--60% for Laguna-XS.2 in successful runs on SWE-bench Verified and Multilingual. Agents spend most of these additional steps verifying their work and exploring the repository. In a small fraction of cases (1--8%), this continued activity leads agents to undo their earlier correct patch, leaving the final solution incorrect.