자유롭게 보고 자유롭게 추론하라: 단순 LLM 하네스가 수작업 RCA 에이전트를 이긴다
Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents
TL;DR Highlight
장애 원인 분석에서 단순한 LLM 하네스가 정교한 수작업 에이전트보다 정확했다
Who Should Read
마이크로서비스 장애 원인 분석(RCA)에 LLM 에이전트를 붙이려 하며 복잡한 SOP·역할 에이전트 설계를 고민하는 SRE·백엔드 개발자
Core Mechanics
- 단순 하네스가 1등이었다
- 증거 묶음 한 번 호출, SQL 에이전트, Codex가 PR@1 65–77%(중급 모델 3종 평균)를 냈다.
- 공개된 LLM RCA 에이전트 5종은 16–53%, 비LLM 방법은 6–39%였다.
- 절차를 박아 두면 핵심 증거를 놓친다
- FoA는 장애 설명을 "microservice incident"로 채워 로그를 읽지 않는 일반 SOP를 골랐고 cart를 원인으로 잘못 냈다.
- mABC는 호출 체인만 따라가서 호출이 끊긴 inventory를 비교하지 못했다.
- 프로그램이 고정한 호출 비율이 문제의 축이다
- 단순 하네스 3종은 프로그램이 정한 모델 호출이 0이었다.
- 공개 에이전트는 mABC 0.10 이상, RCA-Agent 0.29, RCAgent 0.35, FoA 0.51, DecompRCA 1.00이었다.
- 강한 모델은 신뢰도, 멀티턴은 실력을 올린다
- Luna에서 Sol로 바꾸면 A(한 번이라도 푼 비율)는 2–7점 오르고 U(불안정 비율)는 32–36에서 7–8로 떨어졌다.
- Luna에서 원샷 대비 SQL 에이전트와 Codex는 한 번이라도 푼 비율이 10–11점 높았다.
- reasoning effort는 시간만 늘린다
- effort를 medium 위로 올리면 시간이 1.5~7배 늘었고 RR은 −2~+7점 변했다.
- 같은 medium에서 Luna를 Sol로 바꾸면 RR이 13~15점 올랐다.
- 비용·시간 최적 선택은 모두 단순 하네스였다
- NSigma(38.9%)보다 정확한 실행 중 비용·시간 파레토 최적은 전부 단순 하네스였다.
- DecompRCA는 가장 싸고 빨랐지만 24–29%로 기준 미달이었다.
Evidence
- 중급 모델 3종 평균 PR@1
- Codex 77.2%, SQL 에이전트 72.8%, 원샷 65.3%였다.
- 최고 공개 에이전트 FoA는 53.3%, 최고 비LLM NSigma는 38.9%, 무작위 순위는 5.5%였다(RCAtlas 90건).
- 원샷도 FoA를 앞섰다
- 가장 약한 단순 하네스인 원샷이 최고 공개 에이전트 FoA보다 12점 높았다.
- 모델 6종 전체에서 단순 하네스는 Luna·Haiku 60–71%, Flash·Sol·Astra 74–87%였다.
- 비용·속도 사례
- Luna+Codex는 건당 1센트 미만으로 68.9%, Flash+Codex는 약 5센트로 85.6%였다.
- Sol+SQL 에이전트는 45초에 85.6%, Sol xhigh+Codex는 88.9%에 건당 약 26센트, 277초였다.
- 모델 교체 대 effort 상승
- Luna에서 Sol로 바꾸면 PR@1이 14–18점 올랐다.
- Luna medium에서 max, Sol medium에서 xhigh로 올리면 2–4점 올랐고 시간은 1.5~4배였다.
How to Apply
- 장애 데이터를 통째로 LLM에 한 번 넣어 보기
- 오늘 과거 장애 1건의 메트릭 변화, 에러 로그 템플릿, 호출 통계를 한 프롬프트에 모아 원인 후보 5개 이내로 묻는다.
- 정답을 아는 장애로 먼저 맞는지 확인한다.
- SOP 고정 단계를 선택형 참고자료로 바꾸기
- 에이전트가 정해진 절차만 실행하는 구조라면 절차 문서를 도구 설명이나 참고 노트로 내려 모델이 읽을지 정하게 한다.
- 로그·트레이스를 읽지 않는 단계가 있는지 먼저 점검한다.
- 모델은 올리고 effort는 medium으로 두기
- 정확도가 부족하면 effort를 올리기 전에 한 단계 큰 모델로 같은 하네스를 돌려 비교한다.
- 시간과 비용을 함께 기록한다.
- 3회 반복으로 방법 비교하기
- 약한 모델은 한 번 돌린 결과가 흔들리므로 같은 케이스를 3회 돌려 평균과 최악 회차를 본다.
- 단일 실행 결과로 방법을 결론 내지 않는다.
Try It
# Claude 또는 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 원샷 증거 묶음 방식)
너는 마이크로서비스 장애 원인 분석가다. 아래 증거만 보고 근본 원인 엔티티를 최대 5개까지 순위로 답하라.
[장애 구간] {{장애 시작~종료 시각}}
[서비스 목록과 호출 관계] {{인벤토리}}
[장애 전후로 크게 변한 메트릭] {{메트릭 변화}}
[트레이스 분당 통계] {{호출·에러 통계}}
[로그 템플릿(전/후 횟수)] {{로그}}
[쿠버네티스 이벤트] {{이벤트}}
규칙: 에러가 많은 서비스가 원인이라고 단정하지 마라. 호출이 끊기거나 요청 수가 급감한 서비스도 확인하라. 근거로 인용한 증거 항목을 함께 적어라.
이어서 해 볼 것: 같은 증거로 3번 돌려 1순위가 일관적인지 확인하라.Terminology
관련 논문
GPT-5.6 Sol, 평화 모드 Factorio를 13.5시간에 클리어
GPT-5.6 Sol이 Codex 낮은 사고 수준으로 평화 모드 Factorio 로켓 발사까지 갔다
AI가 SRE를 대체하는 게 아니라 실력을 깎아먹는다
인시던트 95%를 AI에 맡기자 나머지 5%를 다룰 SRE의 실력이 녹슬 수 있다
Cursor Marketplace의 Claude Code 확장에 심어진 SSH 백도어
Cursor Marketplace의 변조된 Claude Code 확장이 SSH 백도어를 심었다
AI-native 엔지니어링 조직 만들기: FurtherAI 9개월 회고
배포 전 과정을 단계별로 자동화하자 엔지니어 1인당 일일 머지가 약 5배 늘었다
Minecraft·Mindustry에서 AI 에이전트 군집 50마리를 돌려 봤다
에이전트 50개를 Minecraft에 풀었더니 배급 장부와 관료제가 생겼다
Cursor Agent SDK 출시: 에이전트를 코드로 정의하고 한 줄로 배포
Cursor가 에이전트를 코드로 정의·배포하는 Agent SDK를 정식 공개했다
에이전트가 코드를 짜는 시대, 엔지니어가 여전히 알아야 할 것: 기초·폭넓은 지식·필요할 때 깊이 파기
에이전트가 짠 코드의 오너십은 기초, 폭넓은 지식, 즉시 깊이 파는 능력에 달렸다
AI가 일을 줄여준다더니, 이렇게 많이 일한 적이 없다
에이전트를 병렬로 돌렸더니 GitHub 활동이 엔지니어 시절 수준으로 돌아왔다
Related Resources
Original Abstract (Expand)
Root cause analysis (RCA) of microservice failures has attracted many LLM agents whose investigation is hand-crafted, through standard operating procedures, fixed stages and role agents. Each is evaluated on its own data against few baselines, so it is unknown whether this design beats letting a capable model investigate on its own. We compare three simple harnesses that prescribe none of the model's calls (one call over an evidence package, a SQL agent and the Codex coding agent) with five published LLM RCA agents and with statistical and causal methods on RCAtlas, 90 validated cases from eight public datasets, across six models and three reasoning efforts. The simple harnesses are the most accurate (PR@1 65-77% on three mid-tier models), ahead of the published agents (16-53%) and the non-LLM methods (6-39%), on every model on which both families were run. The published agents fix from a tenth to all of their model calls in the program, and a case study shows how these prescriptions skip the decisive evidence. A stronger model mainly improves reliability, a multi-turn harness mainly improves aptitude, and more reasoning effort changes accuracy by a few points at most while multiplying the time by up to seven. Among runs more accurate than the best non-LLM method, every Pareto-optimal run in cost or time uses a simple harness.