툴 사용 에이전트의 자발적 망각: 되돌릴 수 있는 컨텍스트 정리

Who Should Read

디버깅·브라우저 툴 응답이 길어 컨텍스트 비용이 폭증하는 에이전트를 운영하는 백엔드 개발자

Core Mechanics

• 툴 결과를 읽은 뒤 에이전트가 직접 정리
  • 모델이 이미 본 툴 결과를 골라 짧은 메모로 바꾼다.
  • 원본은 아카이브에 그대로 저장되고 복구 도구로 다시 꺼낼 수 있다.
• 사용자·어시스턴트 메시지는 건드리지 않음
  • 정리 대상은 툴 결과 단위(result ID)뿐이다.
  • 배치 중 하나라도 잘못된 ID면 전체를 거부해서 부분 변경이 없다.
• 노이즈 많은 디버깅에서 큰 절감
  • OpenTelemetry 디버깅 뒤 C++ 과제로 넘어가는 시나리오에서 효과가 컸다.
  • 두 방식 모두 기본 행동 테스트 2건을 통과했다.
• 절감은 공짜가 아니다
  • 요청 수는 121회에서 185회로 늘고 시간은 17% 더 걸렸다.
  • 완료 토큰도 2배 넘게 늘었다.
• 워크로드에 따라 효과가 없을 수도 있다
  • Planroom 앱 개발 과제에서는 절감이 없었다.
  • 브라우저 워크플로 설계 과제에서는 수동 점수가 오히려 낮았다.

Evidence

• 최종 프롬프트 토큰 75% 감소
  • OpenTelemetry에서 retained history 912,492 대비 method 231,951이다.
  • 1차 제출 시점은 847,674 대비 124,746으로 85% 감소했다.
• 누적 입력 50%↓, 비용 약 67~71%↓
  • 누적 입력은 45,766,146에서 22,988,240으로 줄었다.
  • 추정 API 비용은 $4.378–4.379 대비 $1.283–1.436이다.
• Planroom은 절감 없음
  • 최종 프롬프트가 265,965 대비 283,105로 6% 늘었다.
  • 추정 비용은 $3.461–3.465 대비 $3.510–3.577이다.
• 품질 손실 사례도 있음
  • 브라우저 워크플로 설계 이어달리기에서 총 토큰은 63% 적었지만 수동 점수가 retained 6/12 대비 method 4/12였다.
  • 후속 C++ 과제의 혼합 채점은 method 3/6, retained 2/6이었다.

How to Apply

• 긴 툴 출력의 크기부터 로깅하기
  • 오늘 에이전트 요청별 prompt token과 툴 결과 크기를 기록해 보자.
  • 수십만 자짜리 browser_find 같은 결과가 있는지 찾아라.
  • 이런 로그가 없으면 이 방식의 이득도 기대하기 어렵다.
• context_apply/context_recover 툴 쌍 설계하기
  • 툴 결과에 안 겹치는 ID를 붙이고 (result_id, note) 배치를 받는 툴을 만들어라.
  • 원본을 먼저 저장한 뒤 메모로 교체하고, 잘못된 ID가 하나라도 있으면 배치 전체를 거부하라.
  • 복구는 원본을 새 툴 결과로 끝에 붙여라.
• 사용자·어시스턴트 메시지는 정리 대상에서 빼기
  • 사용자 지시와 어시스턴트 메시지는 선택 불가로 막아라.
  • 미해결 증거는 남기고 진단이 끝난 결과만 정리하라고 프롬프트에 써라.
• retained history와 A/B로 비용 재기
  • 같은 작업을 정리 없이 한 번, 정리 툴과 함께 한 번 돌려라.
  • 최종 프롬프트, 누적 입력, 요청 수, 시간, 품질을 따로 비교하라.
  • 짧은 작업이나 대부분 관련 있는 관찰이면 효과가 없을 수 있다.

Try It

# Claude Code나 ChatGPT에 붙여넣는 프롬프트 (논문 방법의 간이 버전: 툴 없이 메모로 대체)

당신은 긴 작업 중 컨텍스트를 관리하는 에이전트입니다. 아래는 지금까지 본 툴 결과 목록입니다.
{{툴 결과 목록: ID와 내용 요약}}

규칙:
- 이미 진단이 끝났거나 더는 필요 없는 결과만 골라라.
- 아직 해결되지 않은 증거는 남겨라.
- 선택한 결과마다 (ID, 메모) 한 쌍을 출력하라. 메모에는 결론, 출처 위치, 또는 불필요한 이유를 적어라.
- 사용자 지시와 어시스턴트 메시지는 절대 선택하지 마라.

지시: 위 규칙대로 (ID, 메모) 목록을 출력하라.

이어서 해 볼 것: 메모만으로 {{다음 질문}}에 답할 수 있는지 확인하고, 부족하면 어느 ID를 복구해야 하는지 말하게 하라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓