같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
TL;DR Highlight
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
Who Should Read
긴 툴 출력을 컨텍스트에 넣지 않고 파일로 저장해 에이전트가 읽게 만든 하네스를 운영하는 백엔드·에이전트 개발자
Core Mechanics
- 파일 전달은 모델마다 결과가 달랐다
- PHREEQC(지구화학 시뮬레이터) 리포트를 목차(TOC)로 읽게 하면 인라인 대비 GPT-5.1은 11.3%p, GPT-5.2는 7.9%p 떨어졌다.
- Claude Opus 4.6·Sonnet 4.6, GPT-5.4는 -0.6~+0.2%p로 차이가 없었다.
- 계산은 맞는데 답이 틀렸다
- GPT-5.1·5.2는 정답값을 만들어내는 빈도가 인터페이스와 상관없이 비슷했다.
- 파일로 받으면 리포트를 건너뛰고 자기가 만든 SELECTED_OUTPUT 파일에서 답을 골랐다.
- 자기 출력은 자릿수가 더 많아 반올림에서 틀렸다
- 리포트는 보기와 같은 자릿수로 찍히지만 자기 파일은 자릿수가 더 많다.
- 2.75065를 2.751로 반올림하지 않고 2.750으로 잘라 이웃 보기를 골랐다(논문은 이를 evidence substitution이라 부른다).
- 순효과 0이어도 손실이 숨어 있을 수 있다
- GPT-5.4도 같은 식으로 약 10%p를 잃었다.
- 하지만 시뮬레이션 자체는 더 자주 맞혀서 순변화가 0 근처로 가려졌다.
- '이 파일이 정식 출력'이라고 알려주면 회복됐다
- 리포트 기준으로 답하라는 지시를 넣으면 리포트 건너뛰기가 2% 미만으로 줄었다.
- 반올림을 제대로 하라는 지시만으로는 효과가 없었다.
Evidence
- TOC가 인라인보다 떨어진 폭
- 158문항 기준 GPT-5.1 -11.3%p([-18.0, -4.9], Holm 보정 p=0.005), GPT-5.2 -7.9%p([-14.9, -0.9], 보정 p=0.128).
- Claude Opus 4.6 -0.6%p, Sonnet 4.6 -0.5%p, GPT-5.4 +0.2%p로 구간이 0을 포함했다.
- 시뮬레이션을 고정해도 손실 유지
- GPT-5.2의 131개 체크포인트에서 인라인 71.2% 대비 TOC 61.8%, 차이 -9.4%p([-14.5, -4.6]).
- 리포트 건너뛰기와 반올림 함정
- TOC에서 리포트를 아예 못 받은 비율은 GPT-5.2 60.3%, GPT-5.1 53.0%, Sonnet 10.5%.
- 이웃 보기로 잘못 자른 경우는 GPT-5.2 26/35, GPT-5.1 19/27, Sonnet 1/35.
- 개입 효과
- 리포트 지정 지시를 넣자 TOC 전체 실행 대비 GPT-5.1 +6.3, GPT-5.2 +7.9, GPT-5.4 +7.8%p 올랐다.
- 반올림 지시만 넣은 TOC+Round는 +0.6, +1.2%p에 그쳤고 closure는 약 82%에 머물렀다.
How to Apply
- 에이전트 툴 설명에 정식 출력 파일 명시하기
- 긴 출력을 파일로 저장하는 툴의 description과 결과 메시지에 '정답 근거는 이 파일 값을 그대로 쓰고 자기가 만든 파일은 쓰지 마라'를 넣어라.
- 논문 지시문은 리포트에 값이 보기 자릿수로 찍혀 있다고 알리고, 반올림 안 된 출력은 이웃 값과 겹칠 수 있다고 경고한다.
- 들어가는 출력은 그냥 인라인으로 넣기
- 출력 길이가 한도(논문은 100,000자) 이하면 본문에 그대로 넣고, 넘을 때만 목차나 검색으로 넘겨라.
- 논문 Hybrid는 이 방식으로 GPT-5.2 +4.6, GPT-5.1 +8.0%p(TOC 대조 실행 대비)를 얻었다.
- 모델별로 손실 위치를 로그로 나눠 보기
- 최종 정확도만 보지 말고 값을 만들었는지, 에이전트가 봤는지, 보고도 틀렸는지를 단계별로 집계하라.
- 모델을 바꿀 때마다 인라인과 파일 전달을 둘 다 돌려 비교하라.
Try It
# Claude/ChatGPT 시스템 프롬프트 또는 툴 설명에 붙여넣기 (논문 TOC+Report 지시의 간이 버전)
IMPORTANT: The authoritative values are in {{정식 출력 파일명}}, printed at the precision the answer options use. Before answering, read the section of {{정식 출력 파일명}} that contains the quantity you need and take the value exactly as printed there. Do not answer from {{에이전트가 직접 만든 출력 파일 종류}} files: they print unrounded values that can match a neighboring option.
# 이어서 해 볼 것: 같은 문항 20개를 이 지시 유무로 돌려 정답률과 '정식 파일을 열었는지' 비율을 비교Terminology
관련 논문
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
받을 수 없는 환불을 위해 AI 비서는 어디까지 가나
'뭐든 해서 환불받아라' 했더니 에이전트들이 스팸·병력 공개·소송 협박까지 갔다
Original Abstract (Expand)
LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and GPT-5.2 lose 11.3 and 7.9 points of accuracy, while Claude Opus 4.6 and Claude Sonnet 4.6 show no detectable cost. Re-running all 11,007 logged simulator calls shows that both GPT models compute the keyed value about as often as before; what changes is the evidence they answer from. Under retrieval they often skip the report, answer from their own higher-precision output files, and misround to a neighboring option, a failure we call evidence substitution. With the simulation held fixed, retrieval still costs GPT-5.2 9.4 points. For GPT-5.4, more frequent correct simulations mask an evidence-use loss of about ten points, leaving a net change indistinguishable from zero. Naming the authoritative output raises accuracy by 6.3-7.9 points over plain retrieval for the three GPT models; for GPT-5.1 and GPT-5.2, inlining outputs that fit works as well, while asking for correct rounding does not. Context-management choices in agent harnesses should be judged by where accuracy is lost, not only by final accuracy.