하니스가 성공을 결정할 때: 다시 관찰할 수 없는 상태
When the harness decides success: state that cannot be re-observed
TL;DR Highlight
컨텍스트를 잘라도 다시 조회 가능하면 성공률 유지, 불가능하면 찍기 수준(10%)으로 추락
Who Should Read
긴 에이전트 루프에서 오래된 턴을 잘라내거나 요약하는 정책을 정해야 하는 에이전트 개발자
Core Mechanics
- 다시 조회할 수 있으면 잘라도 괜찮다
- 윈도우로 오래된 턴을 자른 gpt-6-luna는 조회 가능한 사실에서 100% 성공했다.
- 그 경우 사실을 다시 조회(lookup)해서 대신 해결했다.
- 다시 볼 수 없는 사실은 영영 사라진다
- 같은 윈도우에서 조회 불가능한 사실은 성공률이 7.5%로, 찍기 확률 10% 근처였다.
- 두 경우의 페널티 차이는 92.5%p다.
- 모델마다 잃은 뒤 행동이 다르다
- claude-haiku-5-5는 사실을 잃자 400개 전부에서 답을 고르지 않았다.
- gpt-6-luna는 400개 중 387개에서 답을 골랐고 31개를 맞혔다.
- 메모 지시문 한 줄과 요약이 격차 대부분을 메웠다
- ARC-AGI-3에서 오래된 턴을 버리는 대신 요약하고 메모 지시를 유지하면 63점 격차의 86%를 회복했다.
- 모델의 추론을 되돌려 보내는 replay 없이 얻은 결과다.
- 잘라내기는 비용도 올린다
- 윈도우 방식은 토큰을 0.84~0.90배 쓰는데도 달러 비용은 풀 히스토리의 2.9~4.0배였다.
- 턴을 버리면 프롬프트 캐싱이 깨지기 때문이다.
- ARC 결과는 단일 실행이라 단정할 수 없다
- 구성·게임당 1회 실행이고 replay 비중은 FT09 S2의 어느 실행을 세느냐에 좌우된다.
- 해당 실행을 바꾸면 replay 비중이 57%에서 35%로 떨어진다.
Evidence
- PersistGym-lite 윈도우 페널티 차이 92.5%p
- gpt-6-luna, 윈도우(W-0)에서 조회 불가 7.5%(15/200), 조회 가능 100%, 풀 히스토리는 각각 200/200이다.
- ΔH1 = +92.5%p (90% CI [89.5, 95.5])이다.
- 두 번째 제공사 모델 재현
- claude-haiku-5-5는 윈도우에서 조회 불가 0/200, 조회 가능 200/200이었다.
- ΔH1 = +101.0%p (90% CI [100.0, 102.5])이다.
- 캐싱과 비용 수치
- 풀 히스토리는 입력 토큰의 94%가 캐시로 처리됐고 윈도우는 48%였다.
- 달러 비용은 gpt-6-luna에서 풀 히스토리의 2.9~4.0배, claude-haiku-5-5에서 3.3~3.7배였다.
- ARC-AGI-3 격차 분해 (Gemini 3.8 Flash, 4게임)
- 평균 RHAE는 S0(Standard) 9.24, S1(요약+메모) 63.08, S2(요약, 메모 없음) 36.32, S4(Adapter) 71.83이다.
- 격차 G=62.59 중 σloss 0.860, σnotes −0.427, σreplay 0.567이다.
How to Apply
- 메모 지시문 한 줄을 시스템 프롬프트에 넣기
- 오래된 턴을 자르는 에이전트에 "Include any context you want to carry forward in your reply, along with the action you want to take."를 추가하라.
- 자르기 전후로 같은 과제를 돌려 성공률을 비교하라.
- 다시 볼 수 없는 상태를 목록으로 뽑기
- 잘라내기 대신 요약 정책으로 바꾸기
- 컨텍스트가 찰 때 오래된 턴을 버리지 말고 모델이 쓴 요약으로 교체하라.
- 요약 요청의 출력 토큰 예산을 충분히 크게 잡아라(논문은 8,192에서 빈 응답이 반복돼 65,536으로 올렸다).
- 잘라내기 비용을 캐시 적중률로 확인하기
- 윈도우 방식 전환 전후의 캐시 적중률과 달러 비용을 측정하라.
- 토큰이 줄어도 비용이 늘 수 있다.
Try It
# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 다시 볼 수 없는 상태 점검)
나는 LLM 에이전트를 만들고 있다. 컨텍스트가 차면 오래된 턴을 버린다.
아래는 에이전트의 작업 흐름과 도구 목록이다.
{{작업 흐름과 도구 설명}}
지시:
1. 에피소드 중 한 번만 보이거나 도구로 다시 조회할 수 없는 정보(계산 결과, 일회성 출력 등)를 모두 나열하라.
2. 각 정보에 대해 오래된 턴이 잘리면 '다시 조회 가능'인지 '영구 손실'인지 분류하라.
3. 영구 손실 항목마다 다음 중 하나를 제안하라: 파일/메모로 저장, 매 응답에 재진술, 요약에 포함.
이어서 해 볼 것: 시스템 프롬프트에 "Include any context you want to carry forward in your reply, along with the action you want to take."를 추가해 성공률을 비교하라.Terminology
관련 논문
에이전트가 코드를 짜는 시대, 엔지니어가 여전히 알아야 할 것: 기초·폭넓은 지식·필요할 때 깊이 파기
에이전트가 짠 코드의 오너십은 기초, 폭넓은 지식, 즉시 깊이 파는 능력에 달렸다
AI가 일을 줄여준다더니, 이렇게 많이 일한 적이 없다
에이전트를 병렬로 돌렸더니 GitHub 활동이 엔지니어 시절 수준으로 돌아왔다
Corgi: 사람과 에이전트를 위한 터미널 멀티플렉서
여러 AI 에이전트의 상태를 한눈에 보는 tmux류 터미널 도구
모델이 그렇게 좋다면 OpenAI는 왜 회사 100개를 직접 안 차릴까
HN 댓글 답: 코드는 쉬워도 뭘 만들지 아는 건 별개라 토큰을 판다
OpenShell: 자율 AI 에이전트를 가두는 NVIDIA의 안전한 샌드박스 런타임
정책 파일로 에이전트의 파일·네트워크·자격증명 접근을 커널 수준에서 통제한다
Omnara: Claude Managed Agents의 오픈소스 대안 (셀프호스팅 가능)
어떤 모델·머신에서도 에이전트를 돌리는 오픈소스 managed agent 플랫폼
Rust off Rails: 코드 없이 Markdown 60개로 만든 AI 에이전트용 웹 스택
Markdown 규칙 60개로 에이전트가 Rust 웹앱을 짜게 한다는 프레임워크
LayerFS: AI 코딩 에이전트를 위한 파일시스템
에이전트마다 임시 Workspace를 마운트하고 결과만 커밋하는 파일시스템
Related Resources
Original Abstract (Expand)
Agent harnesses decide what a language model sees across turns: they drop old turns, summarize them, or replay the model's own earlier reasoning. We ask when these choices change whether an agent succeeds, not only what it costs, and report three findings. First, in a pre-registered synthetic probe, truncating the context window costs a low-cost reasoning model nothing in success when a needed fact can be looked up again (it looks the fact up instead), but drops its success to chance when the fact cannot be re-observed: the two penalties differ by 92.5 percentage points (90% CI [89.5, 95.5]). A pre-registered replication on one model from a second provider showed the same contrast. Once the fact was lost, that model chose no answer rather than guessing. Second, on ARC-AGI-3, where the benchmark's Standard harness trails its Provider Adapter harness by a wide margin, we decompose that gap one component at a time, for one model on four games. Summarizing old turns instead of dropping them, while keeping the Standard harness's invitation to take notes, recovers 86% of a 63-point gap without replaying the model's reasoning. The same harness without the invitation recovers 43%, and adding the provider's native replay of the model's reasoning recovers the remaining 57%. These are point estimates from one counted run per configuration and game, and the replay share depends on a single run. Third, in the benchmark's published runs and in ours, the Adapter's advantage in the probability of clearing a level it has reached is larger at deep levels than at early ones. This largely restates where runs stopped and does not separate a growing advantage from a constant one.