에이전트 실패 원인 찾기는 검색 문제다: Continual Search | AI Paper Digest

TL;DR Highlight

판정 LLM에게 안 읽은 증거를 계속 찾게 했더니 Opus-4.8 F1이 0.471→0.608로 올랐다

Who Should Read

에이전트 실행 로그가 수십만 토큰으로 커져 LLM으로 실패 원인을 자동 분석하려는 에이전트 개발자

Core Mechanics

LLM 판정자는 일찍 결론 내린다
- 긴 로그에서 LLM은 그럴듯한 원인을 먼저 잡고 나머지 증거를 안 읽는다.
- 그래서 원인 분석을 한 번에 판정하는 일이 아니라 검색 문제로 본다.
Continual Search는 계속 파고들게 한다
- 첫 판정 뒤 여러 턴 동안 지금 답을 의심하고 안 열어본 증거를 읽으라고 시킨다.
- 단순히 "다시 확인해라"만 하는 Passive Continuation과 비교했다.
긴 로그에서만 효과가 있다
- MegaRCA-Mix, TRAIL, TELBench 같은 긴 로그에서 성능이 올랐다.
- 짧은 AgentRx, Who&When에서는 오히려 떨어졌다.
같은 모델 여러 번 돌리기는 효과가 없었다
- self-consistency(여러 번 뽑아 다수결)는 TRAIL에서 한 번만 돌린 것보다 낮았다.
- 모델 4개 패널도 Continual Search에 못 미쳤다.
큰 모델보다 검색이 낫다
- Sonnet-5가 Fable-5와 비슷한 점수를 약 64% 비용으로 냈다.
- 추론 노력(effort)을 올리는 것보다 턴을 늘려 증거를 더 읽는 쪽이 일관되게 도움이 됐다.

Evidence

MegaRCA-Mix에서 F1 29% 향상
- Opus-4.8 F1이 단일 턴 0.471에서 4턴 후 0.608로 올랐다.
- Passive Continuation은 0.479였다.
TRAIL에서 방법 간 비교
- Opus-4.8 Weighted F1은 Continual Search 0.543, 단일 턴 0.482, self-consistency 0.430, 판정 패널 0.431이었다.
- 비용은 Continual Search 3.43달러, self-consistency 6.52달러였다.
읽은 증거와 커버리지가 늘었다
- MegaRCA-Mix 증거 커버리지는 70.5%에서 98.5%로 늘었고 Passive는 75.6%에서 멈췄다.
- TRAIL에서 중복을 뺀 읽은 토큰은 20K에서 24K로 늘었고 Passive는 21K였다.
짧은 로그에서는 성능 하락
- GPT-5.5의 AgentRx는 0.310에서 0.241로, Who&When은 0.516에서 0.437로 내려갔다.
- Opus-4.8의 AgentRx는 0.414에서 0.379로 내려갔다.

How to Apply

로그가 긴 분석에만 추가 턴 붙이기
- 실행 로그가 수만 토큰 이상일 때 첫 판정 뒤 후속 턴 2~3개를 추가한다.
- 몇천 토큰짜리 짧은 로그는 단일 턴으로 둔다.
판정 에이전트에 파일 읽기 도구 주기
- 로그를 프롬프트에 통째로 넣지 말고 읽기 전용 도구로 필요한 파일만 열게 한다.
- 후속 턴마다 아직 안 연 파일 목록을 넘겨 전부 열게 한다.
원인 변경에 인용 조건 걸기
- 판정은 더 이른 원인으로 바뀔 때만, 정확한 인용을 붙이게 한다.
- 인용이 없으면 기존 답을 그대로 두게 해서 압박에 휘둘리는 것을 막는다.
재샘플링 대신 턴 예산 쓰기
- 같은 모델을 여러 번 돌려 다수결 내는 대신 같은 예산을 순차 탐색 턴에 쓴다.
- 비싼 모델 대신 작은 모델에 턴을 더 주는 설정도 비교한다.

Try It

복사해서 바로 해보기

# Claude Code 또는 Claude에 붙여넣기 (논문 방법의 간이 버전: 파일 접근이 되는 에이전트 환경 권장)

[1턴] 실패한 에이전트 실행 기록 {{로그 폴더}}를 읽고, 최초로 정상 실행에서 벗어난 지점(근본 원인)을 찾아라. 결과는 인용과 함께 라벨로 답해라. 마지막 오류는 증상일 뿐이다.

[2턴] 이 답은 한 번 읽고 나온 것이라 아직 검증되지 않았다. 처음부터 다시 읽고 독립적으로 원인을 다시 도출한 뒤 두 결론 중 근거가 더 좋은 쪽을 택해라.

[3~4턴] 아직 열지 않은 파일: {{안 읽은 파일 목록}}. 전부 끝까지 열어라. 열지 않은 증거는 결론의 근거가 될 수 없다. 현재 답은 더 이른 원인이 정확한 인용으로 뒷받침될 때만 바꿔라. 인용이 없으면 그대로 두어라.

이어서 해 볼 것: 같은 로그를 "다시 확인해라"만 반복하는 프롬프트로도 돌려 결과를 비교해 보기.

Terminology

RCA(근본 원인 분석)에이전트가 실패했을 때 처음 어디서 잘못됐는지 찾는 일이다. 버그 추적에서 첫 커밋을 찾는 것과 비슷하다.

Passive Continuation"답을 다시 확인해라"만 반복하는 비교용 방식이다. 새 증거를 읽으라고는 시키지 않는다.

Self-consistency같은 모델에서 여러 답을 독립적으로 뽑아 다수결로 정하는 방법이다.

Agent-as-a-Judge도구를 써서 증거를 직접 열어 보고 판정하는 LLM 평가자다.

MegaRCA-Mix논문이 만든 벤치마크로, 사람이 원인을 라벨링한 실패 50건이고 로그 중앙값이 286K 토큰이다.

관련 논문

Original Abstract (Expand)

The increasing deployment of AI agents in long-horizon tasks yields massive execution logs. Diagnosing failures within these records is crucial for reliability, as it transforms outcome-level signals into actionable interventions. The sheer scale of the data renders human review impractical, driving the need for automated root-cause attribution (RCA). However, automated RCA methods using LLMs suffer from low diagnostic accuracy, especially as execution traces grow larger. They struggle because relevant information is often sparse, distributed across distant actions, and disconnected from the visible failure, reducing root-cause attribution to a massive search problem. Existing RCA methods typically rely on one-shot LLM judgments to diagnose failures from execution traces. While effective for shorter trajectories, these judges tend to settle on a plausible diagnosis early, leaving critical evidence in longer traces unexamined. We introduce Continual Search, an iterative framework that nudges the judge, over successive turns, to keep searching for unresolved diagnostic evidence. We evaluate Continual Search across four existing RCA benchmarks. Recognizing the lack of massive execution traces in current benchmarks, we introduce MegaRCA-Mix to evaluate RCA at scale. MegaRCA-Mix provides a challenging testbed of 50 human-annotated failure trials spanning long-horizon, execution-heavy tasks. Across multiple benchmark suites and model families, Continual Search consistently improves attribution performance. On MegaRCA-Mix, for example, it improves Opus-4.8's F1 score by 29\%, from $0.471$ to $0.608$. More interestingly, within the same model family, lower-tier models can even surpass their higher-tier counterparts, demonstrating that effective search supersedes raw model scale.