기억을 그냥 믿지 마라: 근거 링크가 달린 메모리 WikiTrace로 LLM 에이전트의 성능 저하 줄이기
Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents
TL;DR Highlight
교훈에 원본 실행 기록 링크를 달았더니 8개 스위트 평균 90.2점, Regression 4.5%
Who Should Read
에이전트에 과거 실행 경험을 메모리로 붙였더니 오히려 잘 풀던 작업이 틀리기 시작해 고민인 백엔드 개발자
Core Mechanics
- 메모리가 오히려 에이전트를 망친다
- 메모리 없이 3번 모두 성공하던 작업이 메모리를 붙이면 실패하는 현상을 memory-induced degradation(메모리로 인한 성능 저하)이라 부른다.
- 이런 실패 355건 중 52%는 에이전트가 따른 메모리 항목이 원인이었고, 가장 흔한 원인은 틀린 항목(20%)이었다.
- 교훈은 성공/실패 한 줄 라벨에서 나온다
- 실행 기록에는 성공/실패 라벨만 있어서, 어떤 행동이 결과를 갈랐는지는 LLM이 추측해서 교훈을 쓴다.
- 기존 방법은 교훈만 주고 원본 기록은 안 줘서 에이전트가 검증할 방법이 없다.
- 교훈 → 요약 → 원본 3층 구조
- WikiTrace는 짧은 insight, 왜 성공·실패했는지 쓴 compilation, 원본 trajectory(행동·관찰 전체 기록)를 링크로 연결해 읽기 전용 파일로 마운트한다.
- 에이전트는 모든 insight를 먼저 보고, 세부 방법이 부족하거나 insight끼리 충돌하거나 실패한 실행에서 나온 경우 bash로 링크를 따라 내려가 확인한다.
- 내려가 보면 계획이 바뀐다
- 원본을 열어본 실행의 43%에서 계획이 바뀌었다(insight 수정 24%, 세부 보완 14%, 새 사실 4%).
- 계획이 바뀐 실행은 Insights Only보다 8.3점 앞섰고, 계획이 그대로이거나 안 쓴 경우는 4.4점 앞섰다.
- 어려운 작업일수록 더 많이 내려간다
- Easy 작업에서는 22%, Hard 작업에서는 44%의 실행이 원본을 열었다.
- 막힌 뒤에 내려간 경우가 Insights Only를 10.4점 앞섰고, 문제 없이 내려간 경우는 3.7점이었다.
- 실패 기록도 근거와 함께 쓰면 이득이다
- 성공 실행만 쓸 때보다 실패 실행만 써도 두 방법 모두 점수가 높았고, 둘 다 쓰면 가장 높았다.
- 다만 insight만 줄 때는 실패 기반 메모리에서 Regression이 가장 높았다(PlanCraft 9.3%, ScienceWorld 9.4%).
Evidence
- 8개 스위트 평균 점수
- WikiTrace 90.2점, No Memory 79.5점, Insights Only 87.0점이다.
- AWM 81.6, ReasoningBank 81.7, ExpeL 80.3으로 기존 방법은 No Memory 대비 1~2점 상승에 그쳤다.
- Regression 비교
- WikiTrace 4.5%, Insights Only 6.5%, 메모리 없이 다시 돌린 기준선 9.7%이다.
- Gain은 재실행 기준선보다 WikiTrace 35%p↑, Insights Only 27%p↑, 기존 메모리 방법 7~14%p↑이다.
- 다른 모델(GLM-5.3-flash)에서도 유지
- PlanCraft·ScienceWorld 평균에서 WikiTrace 92.7, Insights Only 90.9, No Memory 71.2이다.
- 기존 메모리 방법은 각각 최소 한 스위트에서 No Memory보다 낮았다.
- 비용
- 테스트 시 작업당 비용이 Insights Only의 1.17배이다.
- 기존 방법의 구축 예산을 AWM 9배, ExpeL·ReasoningBank 3배로 늘려도 평균은 83.8, 83.3, 82.8로 WikiTrace 90.2보다 낮았다.
How to Apply
- 메모리 항목에 출처 실행 ID 붙이기
- 오늘 쓰는 에이전트의 메모리·교훈 항목마다 어떤 실행 로그에서 나왔고 성공인지 실패인지 필드로 추가하라.
- 로그 파일 경로를 항목에 같이 적어 두라.
- 에이전트에 실행 로그 읽기 권한과 내려가기 규칙 주기
- 로그 폴더를 읽기 전용으로 마운트하고 bash·read 도구를 열어라.
- 세부 방법이 부족하거나 교훈끼리 충돌하거나 실패 실행에서 나온 교훈이면 출처 로그를 먼저 확인하라고 프롬프트에 써라.
- 메모리 평가를 Gain/Regression으로 나누기
- 메모리 없이 여러 번 돌린 다수결 결과를 기준으로 메모리 사용 시 실패→성공 비율과 성공→실패 비율을 따로 측정하라.
- 평균 정확도만 보지 말고 Regression이 메모리 없이 재실행한 변동폭 아래인지 확인하라.
- 실패 실행 교훈은 '피할 행동'만 쓰기
- 실패 로그에서 뽑은 교훈은 계획이 아니라 피할 행동만 가져오도록 프롬프트에 규칙을 넣어라.
- 과거 실행을 그대로 재현하지 말고 현재 상태와 다른 점을 먼저 적게 하라.
Try It
# Claude Code나 에이전트 시스템 프롬프트에 붙여넣기 (논문 방법의 간이 버전)
당신은 과거 실행에서 뽑은 교훈(insight)을 쓰는 에이전트입니다.
교훈은 정답이 아닙니다. 과거 실행 기록은 /work/corpus 에 읽기 전용으로 있고, 각 교훈에는 출처 실행 ID가 적혀 있습니다.
아래 경우에는 행동하기 전에 bash/read로 출처 실행의 원본 기록을 먼저 확인하세요.
- 교훈이 무엇을 해야 하는지만 말하고 구체적 방법은 말하지 않을 때
- 교훈이 실패한 실행에서 나왔을 때
- 두 교훈이 서로 충돌할 때
행동이 실패할 때마다 다시 확인하세요.
규칙:
- 과거 실행을 그대로 재생하지 마세요. 시작 상태가 다릅니다.
- 명령 형식처럼 현재 작업에서 확인 가능한 사실만 가져오고, 무엇이 다른지 먼저 적으세요.
- 실패한 실행에서는 피할 행동만 가져오세요.
교훈: {{교훈 목록과 출처 실행 ID}}
작업: {{작업}}
이어서 해 볼 것: 같은 작업을 이 프롬프트 없이 돌려 결과를 비교해 보세요.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
Related Resources
Original Abstract (Expand)
External memory enables LLM agents to improve from experience by distilling trajectories of past tasks into concise lessons for new tasks. However, memory can also lead to memory-induced degradation, where an agent fails on tasks it would solve without memory, often because it follows a lesson that is incorrect, or misapplies or misreads a valid one. This is because lessons are inferred from trajectories labeled only with task success or failure, yet are typically provided without the trajectories they came from, leaving the agent no way to check them. To address this, we introduce WikiTrace, an evidence-linked memory system designed to let agents check each lesson against its original trajectory. Specifically, motivated by the finding that a trajectory often still holds the evidence needed to catch an erroneous lesson, WikiTrace stores each lesson as a concise insight linked to a summary of why its trajectory succeeded or failed and to the raw trajectory itself. Then, on a new task, the agent starts from all insights and, whenever one lacks details needed to act, conflicts with another, or comes from a failed task, descends through its links with terminal tools to fill in missing details or correct the insight before acting. We validate WikiTrace on five agentic benchmarks, showing that it consistently outperforms existing memory approaches and a baseline given the same insights alone, while also reducing memory-induced degradation. Our code is available at https://github.com/yukyeongleee/wikitrace