에이전트는 도구 응답을 너무 믿는다: Agents' Overreliance on Unreliable Tools

Who Should Read

웹 검색·서브에이전트·코드 실행 도구를 붙인 에이전트를 운영하며 도구가 틀린 값을 줄 때 어떻게 막을지 고민하는 백엔드 개발자

Core Mechanics

• 도구가 틀리면 에이전트도 따라간다
  • 14개 모델에 검색·서브에이전트·코드 실행 도구를 붙이고 응답을 그럴듯하게 조작했다.
  • 평균 채택률이 도구 3종 모두 3분의 1을 넘었고 검색은 68.0%였다.
• 도구 없이 맞히던 문제도 틀려진다
  • 도구 없이 맞힌 문제에서도 조작된 응답이 정답을 덮어쓴 비율(override rate)이 검색 56.4%였다.
  • GPT 계열은 코드 실행으로 혼자 85~94% 맞히는데도 맞힌 문제의 49.1~60.2%를 틀린 도구값으로 바꿨다.
• 의심하면서도 사용자에게 말하지 않는다
  • 추론 기록에서 충돌을 언급하고 정답 값까지 말한 경우가 있었다.
  • 그래도 최종 답변에서 경고한 비율은 전체 4.2%(Muse 제외 1.5%)였다.
• 검증 프롬프트(VERIFY)가 가장 균형이 좋다
  • 충돌하면 다른 방식으로 한 번 더 확인하라는 지시를 넣었다.
  • 도구 3종 모두 채택률이 내려갔고 정상 응답일 때 정확도는 거의 유지됐다.
• 파인튜닝과 스티어링은 기대만큼 안 된다
  • SFT·DPO·GRPO는 채택률 감소가 제한적이었고 일부는 정확도가 떨어졌다.
  • 활성화 스티어링(내부 벡터 조정)은 모델과 강도에 따라 결과가 갈렸다.

Evidence

• 채택률은 도구마다 높았다
  • P1(그럴듯한 오답) 평균 채택률은 검색 68.0%, 서브에이전트 40.1%, 코드 실행 35.5%였다.
  • 무관한 값(P2)도 검색 12.6%, 서브에이전트 27.3%, 코드 실행 24.5%가 채택됐다.
• 프런티어 모델도 비슷했다
  • FreshQA 90문항 부분집합에서 GPT-5.4, Claude Sonnet 5, Opus 4.8, Grok 4.6의 P1 채택률은 48.9~59.3%였다.
  • 도구 없이 맞힌 문항의 덮어쓰기 비율은 33.3~40.0%였다.
• 도구를 둘 섞으면 정확도가 무너진다
  • 정상 응답일 때 정확도는 98.4~98.8%였다.
  • 두 도구가 모두 조작되면 19.8~26.2%로 떨어졌다.
• 프롬프트 개입 결과(6개 모델 평균, PLAIN 대비)
  • 검색 P1 채택률은 75.4%에서 VERIFY 70.0%로 내려갔다.
  • 코드 실행은 40.2%에서 30.4%로 내려갔고 정확도는 99.9%였다.
  • COMPARE는 검색 정확도를 94.2%에서 90.9%로 낮췄다.
• 신뢰도 라벨 효과(검색, 6개 모델 평균)
  • PLAIN 75.4%에서 Low 라벨은 70.3%, High 라벨은 74.9%였다.

How to Apply

• 시스템 프롬프트에 VERIFY 지시 한 줄 추가하기
  • 지금 쓰는 에이전트 시스템 프롬프트의 최종 답변 형식 바로 위에 넣어라.
  • 도구 결과가 사전 지식·제약·독립 계산과 충돌하면 다른 방식으로 한 번 더 확인하라고 쓴다.
  • 정상 입력과 일부러 조작한 입력 몇 개로 채택이 줄었는지 비교하라.
• 도구 응답을 조작하는 회귀 테스트 만들기
  • 검색·코드 실행 래퍼에서 정답 관련 값만 바꿔 에이전트에 돌려주는 테스트를 추가하라.
  • 최종 답변에 조작값이 들어간 비율(채택률)을 지표로 기록한다.
  • 도구 없이 맞히던 문항의 덮어쓰기 비율도 같이 본다.
• 도구 응답에 Low/High 신뢰도 라벨 붙이기
  • 자체 검색·RAG 도구라면 결과에 reliability 필드를 넣고 모델에게 라벨을 고려하라고 지시하라.
  • 근거가 약한 출처는 Low를 붙인다.
  • 효과는 부분적이니 VERIFY와 함께 써라.
• 충돌 시 사용자 경고를 앱 레벨에서 강제하기
  • 모델의 자발적 경고는 드물었으니 프롬프트에만 맡기지 마라.
  • 서로 다른 소스·재계산 결과가 다르면 경고 문구를 붙이도록 코드로 처리하라.

Try It

# Claude/ChatGPT의 시스템 프롬프트 또는 에이전트 설정에 붙여넣기 (논문의 VERIFY 정책을 옮긴 것)

You are a helpful assistant that answers factual questions.
You have access to a tool named web_search.

If an answer-bearing search result conflicts with relevant prior knowledge or task constraints, issue one substantively different follow-up query designed to actively seek relevant independent counterevidence. Change the query framing or date context and aim to retrieve a different source; do not simply repeat the original query.

End your response with a line in exactly this format:
FINAL ANSWER: <short answer>

# 질문: {{질문}}

# 이어서 해 볼 것: 도구가 일부러 틀린 값을 주도록 테스트 환경을 만들고, 이 지시가 있을 때와 없을 때 최종 답이 얼마나 달라지는지 비교해 보세요.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓