DeReAct: 행동 승인과 완료 판정을 분리한 신뢰할 수 있는 AI 에이전트

Who Should Read

에이전트가 근거 없이 답을 내고 일찍 끝내버려 고민인 에이전트 개발 백엔드 개발자

Core Mechanics

• 한 모델이 다 하면 스스로 합격 도장 찍는다
  • ReAct 에이전트는 행동 실행 여부와 작업 완료 선언을 같은 모델이 정한다.
  • 그래서 오류가 뒤로 번지고, 근거가 약하거나 찍은 답으로 일찍 끝나는 경우가 있다.
• 루프를 세 모듈로 쪼갰다
  • Brain은 기존 ReAct처럼 Thought와 Action을 낸다.
  • Critic은 실행 전에 문법·안전·질문 제약 위반만 검사하고, 신뢰도 0.7 미만이면 거절한다.
  • Context Manager(CM)는 환경에서 확인된 사실만으로 STATE를 매 단계 새로 쓰고, 근거가 충분할 때만 SUCCESS를 낸다.
• 약한 모델일수록 효과가 컸다
  • Qwen3-Coder-480B는 Pass@1이 6.5~7.0점 올랐다.
  • Claude Sonnet 4.5는 4.2~5.2점 올랐다.
  • Claude Opus 4.5는 ReAct와 비슷했다.
• Opus에서는 점수보다 근거가 좋아졌다
  • GAIA에서 Opus의 증거 완전성과 제약 충족이 올랐고 추측 인정은 줄었다.
  • ReAct가 더 푼 문제 중 일부는 근거 없이 일찍 끝내거나 찍은 답이었다.
• 게이트가 자주 막는다고 좋은 게 아니다

Evidence

• GAIA Pass@1 약한 모델 개선
  • Qwen3는 ReAct 34.9%에서 DeReAct 41.4%로 +6.5점(p=.010)이다.
  • Sonnet은 +4.2점이지만 p=.170으로 유의하지 않았다.
• SWE-bench Verified Pass@1
  • Qwen3는 +7.0점, Sonnet은 +5.2점으로 둘 다 p<.001이다.
  • Opus는 65.6%로 ReAct 대비 -0.3점이며 p=.753이다.
• Opus GAIA 근거 품질 (ReAct 대비)
  • 증거 완전성은 61.3%에서 69.7%로 +8.4점이다.
  • 제약 충족은 82.7%에서 89.1%로 +6.4점이다.
  • 추측 인정은 21.0%에서 15.1%로 -5.9점이다.
• CM 튜닝 효과 (SWE-bench, Opus Brain)
  • 완료 프롬프트를 개선하자 FAV POOR가 8%에서 2%로 줄고 lift가 -4.7에서 -1.8로 올랐다.
  • 창을 W=50으로 넓히고 CM을 Opus로 키우자 lift가 -0.3, STATE GOOD이 97%가 됐다.

How to Apply

• 완료 판정 전용 검증 프롬프트 붙이기
  • 지금 쓰는 에이전트가 Final Answer를 내는 지점에 별도 LLM 호출을 하나 추가해 보자.
  • 이 호출에는 Brain의 추론은 빼고 툴 결과만 넣고, 근거가 있을 때만 SUCCESS를 내게 하라.
• 실행 전 Critic 게이트 추가하기
  • 위험하거나 문법 오류인 명령, 질문 형식 위반만 거절하게 하라.
  • 전략 판단은 맡기지 말고, 신뢰도 0.7 미만이면 거절하도록 fail-closed로 두어라.
  • Brain보다 작은 모델을 써도 되며, 논문은 Haiku 4.5를 썼다.
• 궤적 로그로 게이트를 진단하기
  • 거절률뿐 아니라 STATE가 증거를 잘 보존하는지, 근거 없는 승인 비율을 샘플 100개 정도로 점검하라.
  • STATE 품질이 낮으면 CM 모델을 키우고, 근거 없는 승인이 많으면 완료 프롬프트를 고쳐라.
• 히스토리 창 길이를 점검하기
  • Brain의 히스토리 창이 ReAct 궤적 중앙값보다 짧은지 확인하라.
  • 짧다면 창을 늘려라.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 완료 판정 CM을 프롬프트로 흉내)

You are a context manager. Judge whether the task is complete using ONLY the command results below. Ignore the agent's own reasoning.
RULES:
- STATUS is SUCCESS only if ALL task objectives are verifiably complete and accurate, with direct evidence.
- Mark data as CONFIRMED only if accessed directly; if you only read ABOUT it, mark INDIRECT.
- Be conservative: when in doubt, use CONTINUE.
- Do NOT suggest next actions.

Task:
{{작업 설명}}

Command results:
{{툴 실행 결과}}

Proposed final answer:
{{에이전트가 낸 최종 답}}

Respond in JSON only: {"STATUS": "CONTINUE" or "SUCCESS", "REASON": "...", "STATE": "confirmed facts, constraints satisfied or not, unresolved concerns"}

이어서 해 볼 것: 에이전트가 낸 답 5~10개로 돌려 보고 SUCCESS가 나온 것 중 근거 없는 답이 있는지 확인해 보세요.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓