LLM 추론에서 대화 히스토리가 몰래 치르는 비용
The Silent Cost of Conversation History in LLM Reasoning
TL;DR Highlight
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Who Should Read
여러 턴에 걸쳐 재고·예산 같은 상태를 추적하는 챗봇·어시스턴트를 만들며 대화 로그를 통째로 프롬프트에 넣고 있는 백엔드 개발자
Core Mechanics
- 답변을 지우니 성공률이 올랐다
- 짧은 수학 과제(48개)에서 모델 자신의 이전 답변을 컨텍스트에 두면 최종 성공률이 떨어졌다.
- GPT-4o-mini는 0.896에서 0.688로, Mistral-7B는 0.354에서 0.063으로 떨어졌다.
- 100턴 상태 추적은 20턴 만에 무너졌다
- CDR-Stream(100턴 상태 추적 대화 벤치마크)에서 전체 히스토리를 넣은 정확도는 처음 5턴 약 0.6에서 20턴 이후 약 0.1로 내려갔다.
- 세 모델의 곡선이 거의 같았고 모든 시나리오에서 나타났다.
- 상태를 밖에 두고 요약만 보내면 살아난다
- 솔버가 검증한 현재 상태 요약과 이번 턴 질문만 보낸 쪽이 전체 히스토리보다 0.52–0.59 높았다.
- 100턴째 프롬프트가 수만 토큰에서 수백 토큰으로 줄었다.
- 품질 지표는 붕괴를 알려주지 않았다
- 일관성(consistency)·논리 일관성(coherence)은 정확도보다 훨씬 덜 떨어졌고 안정성(stability)은 오히려 올랐다.
- 모델이 틀린 상태를 믿으면 그 상태에서 일관되게 틀린 답을 내기 때문이다.
- 드리프트 탐지기도 단일 대화에서는 힘이 없었다
- 대화 하나(100턴)로는 정확도가 약 0.5 떨어져야 80% 탐지가 가능했다.
- 여러 대화를 묶으면 탐지 가능한 하락폭이 줄었다.
- 저자가 밝힌 한계
- 과제가 산술·상태 추적이고 모델도 최신 최강 모델이 아니다.
- Study 2에서는 어시스턴트 답변만의 영향은 따로 분리하지 못했다.
Evidence
- Study 1 최종 성공률 하락
- 48개 과제 기준, GPT-4o-mini는 히스토리 유지 0.688 대 fresh prefix(이전 답변 없음) 0.896으로 차이 0.208이다(Holm p=0.026).
- Mistral-7B는 0.063 대 0.354로 차이 0.292다(Holm p=0.004).
- Llama-4 Scout는 0.104 차이로 같은 방향이지만 유의하지 않았다(Holm p=0.125).
- Study 2 구간별 정확도(히스토리 유지)
- GPT-4o-mini는 1–5턴 0.61, 6–20턴 0.25, 21–100턴 0.09다.
- 정상 쉬운 시나리오(S0-E)의 21–100턴은 히스토리 0.10–0.14 대 상태 요약 0.82–0.86이다.
- 상태 요약과의 정확도 격차(1–100턴)
- Llama-3 70B는 0.545, Gemma 3 12B는 0.588이다(둘 다 Holm p<0.001).
- GPT-4o-mini는 0.521이다(95% CI [0.476, 0.566]).
- 품질 지표 추이(GPT-4o-mini, 히스토리 유지)
- 정확도는 0.61(1–5턴)에서 0.08(81–100턴)로 떨어졌다.
- 안정성은 0.94에서 0.98로 올랐고 coherence는 0.54에서 0.47로 소폭 하락했다.
How to Apply
- 오늘 내 대화 로그에서 상태 질문 정확도 재 보기
- 상태를 묻는 질문 20개를 골라 초반 턴과 20턴 이후 정확도를 따로 세어라.
- 같은 질문을 히스토리 없이 현재 상태 요약만 넣어 다시 돌려 비교하라.
- 상태를 외부 저장소에 두고 매 요청에 넣기
- 장부·재고·일정처럼 명시적으로 표현되는 상태는 DB나 JSON에 두고 코드로 갱신하라.
- 요청마다 현재 상태와 이번 질문만 프롬프트에 넣어라.
- 모델이 쓴 요약은 검증하는 단계 붙이기
- 모델이 요약한 상태는 규칙 기반 계산이나 솔버로 검증한 뒤에 다음 턴에 넘겨라.
- 논문은 모델 자체 요약이 검증된 요약보다 성능이 낮을 것으로 예상해야 한다고 말한다.
- 품질 모니터링은 세션을 묶어 보기
- 한 대화의 일관성·안정성 대시보드를 정확도 대용으로 쓰지 마라.
- 여러 세션을 묶어 집계하거나 히스토리 없는 재질의와 답을 비교하라.
Try It
# 논문 방법의 간이 버전: Claude/ChatGPT 새 대화창에 붙여넣기 (상태 요약 방식 vs 전체 히스토리 비교)
[역할] 너는 창고 재고 장부 도우미다. 아래 '현재 상태'만 근거로 답하라. 이전 대화는 주어지지 않는다.
[현재 상태]
{{현재 상태 장부 (예: 창고A 부품X 120, 창고B 부품X 40)}}
[이번 턴 질문]
{{질문 (예: 부품X의 총 재고는?)}}
답은 'FINAL_ANSWER: <숫자>' 형식으로 쓰고 계산 과정을 한 줄로 적어라.
이어서 해 볼 것: 같은 질문을 {{20턴 분량 전체 대화 로그}}를 붙인 상태로도 물어 두 답을 정답과 비교해 보라.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
Claude Code 팀이 에이전트 작업을 검증하는 방법
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
AgentRun: 실행할수록 똑똑해지는 오픈소스 매니지드 에이전트 플랫폼
에이전트가 매 실행 후 노트·스킬을 저장해 코드 리뷰 비용을 18센트로 낮췄다
Related Resources
Original Abstract (Expand)
Large language models (LLMs) in multi-turn information systems accumulate their own earlier replies and a growing task state. We asked whether this conversation history lowers accuracy, and whether process-level quality metrics warn before it does. Each analysis was fixed before its outcomes were computed. In Study 1, on 48 sharded math tasks, retaining its replies lowered final success by 0.21 for GPT-4o-mini and 0.29 for Mistral-7B (Holm-adjusted p = 0.026 and 0.004); Llama-4 Scout showed the same direction, not significant. Study 2 introduces CDR-Stream, 100-turn state-tracking dialogues with an exact answer per turn and per-model difficulty calibration. With the full history, accuracy fell from about 0.6 to 0.1 within twenty turns at matched difficulty, whereas a solver-verified state summary kept it 0.52-0.59 higher (Holm-adjusted p less than 0.001). Consistency and logical coherence fell far less than accuracy, and stability rose. None of these metrics, a paired readiness measure or calibrated single-stream drift detectors gave robust, model-general early warning, although in Study 2 the repeat-based metrics were complete only for GPT-4o-mini. In the monitors we tested, a single 100-turn stream had power only for very large drops. Systems built on LLMs should keep task state outside the transcript and monitor across sessions.