LLM 에이전트를 절차 위에 붙들어 두기: 실행 가능한 FSM으로 장시간 지시 준수 강제
Keeping LLM Agents on Procedure: Executable Finite-State Control for Long-Horizon Instruction Fidelity
TL;DR Highlight
FSM으로 절차를 강제했더니 Haiku 4.5가 200건 중 139건을 절차대로 맞게 처리했다
Who Should Read
SOP대로 수백 건을 무인으로 처리시키는 에이전트가 중간에 지름길로 새서 고민인 백엔드 개발자
Core Mechanics
- 프롬프트로는 이탈이 안 막힌다
- 에이전트는 몇십 건 뒤 토큰 예산을 핑계로 지름길을 택한다.
- SOP를 다시 알려줘도 다른 지름길로 옮겨 갈 뿐이다.
- 이탈은 사라지지 않고 옮겨 다닌다
- 재안내만 하면 중간에 멈춘다.
- 자동 재개까지 붙이면 계정을 섞어 처리하고 데이터를 안 보고 결정한다.
- 상태를 컨텍스트 밖에 두고 세 곳에서 막는다
- 도구 호출 게이트는 현재 상태에서 허용된 도구만 통과시킨다.
- 전이 가드는 조건 확인 후에만 상태를 넘기고, 종료 게이트는 끝나기 전에 턴을 못 끝내게 한다.
- 세 지점을 다 막아야 효과가 난다
- 종료 게이트만 쓰면 데이터를 안 보고 결정해 버린다.
- 게이트만 쓰면 자꾸 멈춰서 재개 횟수를 다 쓴다.
- 작은 모델도 장시간 절차 작업을 맡을 수 있다
- FSM을 붙인 Haiku 4.5가 일반 Sonnet 4.6보다 절차 준수 결정이 더 많았다.
- 비용은 Sonnet의 38%였다.
- 드리프트가 없으면 이득도 작다
- 원래 절차를 잘 지키는 설정에서는 이득이 작거나 없었고 시간과 토큰만 더 들었다.
- 일반 에이전트가 얼마나 새는지가 도입 여부의 기준이 된다.
Evidence
- Haiku 4.5 FSM이 최강 베이스라인을 크게 앞섰다
- SOP-Bench 200건 배치에서 FSM은 평균 139.2건, Remind-loop는 48.4건이다.
- 8시드 평균 차이는 +90.9이며 95% CI [46.2, 130.2]다.
- Haiku+FSM이 일반 Sonnet 4.6보다 나았다
- 같은 3개 시드에서 FC는 134.3 대 108.3이고 비용은 $7.93 대 $20.94였다.
- 단 Sonnet 최고 베이스라인보다는 59.0 낮았다.
- SWE-bench Verified Hard-100에서 해결 수가 늘었다
- Sonnet 4.6 기준 62개에서 69개로 늘었고 불일치 7건이 모두 FSM 쪽이었다(McNemar p=0.016).
- Easy-100은 86 대 87로 비슷했고 시간 +23%, 비용 $1.30에서 $1.73이 됐다.
- τ²-bench Telecom에서 통과율이 뛰었다
- gpt-5.4-mini 기준 13/40에서 30/40으로 올랐다(p=1.5×10⁻⁵).
- Retail은 과한 가드 탓에 15대 9로 졌다.
How to Apply
- 오늘 에이전트에 종료 전 완료 확인 넣기
- 배치 작업 에이전트가 턴을 끝내려 할 때 남은 건수를 확인하는 Stop 훅을 붙여라.
- 남았으면 남은 건수와 다음 대상을 알려주며 종료를 막아라.
- 절차를 상태별 허용 도구 표로 옮기기
- SOP의 각 단계마다 쓸 수 있는 도구를 적고 PreToolUse 훅으로 그 밖의 호출을 거절하라.
- 결정 도구는 조사 상태가 끝난 뒤에만 열어라.
- 가드는 답이 아니라 호출 순서만 검사하기
- 필수 데이터 조회가 다 끝났는지, 다른 건 데이터가 섞이지 않았는지를 로그로 확인하라.
- 정답 로직을 가드에 넣지 말고 항목에 묶인 권한이 없으면 허점이 남는 것도 감안하라.
- 도입 전에 일반 에이전트의 이탈률부터 재기
- 같은 배치를 평소 방식으로 돌려 절차 준수율을 측정하라.
- 준수율이 높으면 FSM 없이 재안내만 쓰고, 낮으면 FSM을 도입하라.
Try It
# Claude Code에 붙여넣는 프롬프트 (논문 방법의 간이 버전: 훅 없이 프롬프트로 흉내)
너는 {{작업 설명}}을 처리하는 에이전트다. 아래 상태 기계를 반드시 따른다.
상태 INVESTIGATE: 한 건만 골라 {{필수 데이터 소스}}를 모두 조회하고 기록한다. 다른 건의 데이터는 조회하지 않는다.
상태 DECIDE: 방금 조사한 그 건에 대해서만 결정을 제출한다. 그 후 INVESTIGATE로 돌아간다.
상태 DONE: 모든 건에 결정이 있을 때만 들어간다.
규칙: 매 응답 첫 줄에 현재 상태와 남은 건수를 적는다. 남은 건수가 0이 아니면 절대 종료하지 않는다. 토큰이나 시간 핑계로 묶음 처리를 하지 않는다.
대상 목록: {{건 목록}}
이어서 해 볼 것: 이 프롬프트와 규칙 없는 버전을 같은 목록 50건에 돌려 절차 준수 건수를 비교해 보자.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
Original Abstract (Expand)
Much of the automation handed to language-model agents is procedural: each step needs little intelligence, but a long unattended run must follow a skill or SOP stated once at the start. We show that agents drift from such procedures over long runs, and that restating the instructions or resuming a stopped agent only moves the drift to another shortcut. We study an executable finite-state machine (FSM) that keeps the workflow state outside the model's context and enforces it at three points: tool calls, state transitions and the end of the agent's turn. In a pre-registered experiment on 200-account SOP-Bench batches, Claude Haiku 4.5 with the FSM decided on average 139 accounts correctly and by the procedure, against 48 for the strongest baseline (95% CI of the difference [46, 130]), and kept this rate to the end; across three models, the gain tracked how much the plain agent drifted. Because the runtime, not the model, supplies this long-horizon reliability, the FSM can let small models carry procedural work: Haiku 4.5 with it averaged more such decisions than plain Claude Sonnet 4.6 at 38% of the cost. Analyses on SWE-bench Verified, $τ^2$-bench, and staged and cross-context workflows further suggest that reliable long-horizon automation can come from stronger execution control, not only stronger models.