프레젠테이션이지 메커니즘이 아니다: 폐기 인식 메모리 평가의 렌더 교란

Who Should Read

에이전트·RAG에 구조화 메모리(타입 엣지, 폐기 표시)를 붙일지 고민하며 아키텍처를 비교하는 백엔드 개발자

Core Mechanics

• 메모리 이득의 대부분은 포맷 덕
  • 값이 바뀌었다가 복원되는 질문(30s→60s→30s)에서 RevisionLedger가 flat 베이스라인(GraphRAG+abstain)보다 +0.182 높았다.
  • 같은 레이아웃에서 폐기 표시만 끈 대조군을 넣으니 이득 대부분이 사라졌다.
  • 즉 시간순으로 정리된 읽기 쉬운 표가 답변 LLM에게 도움이 된 것이다.
• 세밀한 타입 분류는 현재값 질문에서 놀고 있다
  • 레이아웃을 맞춘 뒤 세밀한 메커니즘의 몫은 +0.025로 0과 구분되지 않았다.
  • 관계 타입(대체, 정제 등)까지 붙여도 현재값 답에는 live/dead 이진값이면 충분하다는 이론과 맞는다.
• 현재값 질문엔 거친 무효화가 이긴다
  • Zep/Graphiti식 엣지 무효화는 세밀한 레저보다 0.084 높았다.
  • 관계 라벨이나 추출에 노이즈를 넣어도 세밀한 쪽이 역전하지 못했다.
• 이전 값을 물으면 보존이 핵심이다
  • 무효화된 엣지를 버리는 저장소는 '직전 값은?' 질문에 정확도 0.243에 그쳤다.
  • 엣지를 유효 기간과 함께 보존하면 0.604로 올랐다.
  • 타입 라벨이 아니라 이전 상태를 남기는 것이 원인이다.
• 타입 분류가 도움 될 때는 따로 있다

Evidence

• 렌더 분해 (DeepSeek-V3 판정)
  • reverted-revert 이득 +0.184는 렌더 항 +0.159와 메커니즘 잔차 +0.025 [-0.005, +0.057]로 나뉜다.
  • 다른 계열 MiniMax-M2.5 판정에서도 렌더 +0.164, 세밀 메커니즘 +0.021이다.
  • 거친 무효화의 메커니즘 몫은 +0.087 [+0.046, +0.130]이다.
• 거친 vs 세밀 (reverted-revert, n=439)
  • Graphiti가 GraphRAG+abstain보다 +0.266 높았고, RevisionLedger와는 -0.084 [-0.128, -0.041] 차이였다.
  • 노이즈 스윕(n=445/레벨)에서 p=0일 때 차이는 -0.016(유의하지 않음)이고, 모든 노이즈 레벨에서 거친 쪽이 앞서거나 비겼다.
• 프로버넌스 질문 (979개, n=4,895)
  • 버리는 거친 저장소 0.243, d-blind 0.439, 보존하는 거친 저장소 0.604, 세밀 0.715였다.
  • 세밀과 보존형 거친 방식의 차이는 +0.111이다.
  • 외부 TempLAMA에서는 보존 효과가 +0.514였다.
• 관계 질문 보강
  • 정제(REFINES)에서 학습 스코어러로 GraphRAG+abstain 대비 +0.147(규칙 스코어러는 -0.086)이었다.
  • 엄격 프롬프트는 교차 출처 충돌에서 +0.152였다.

How to Apply

• 메모리 A/B에 렌더 고정 대조군 추가
  • 구조화 메모리를 flat RAG와 비교할 때, 같은 표 레이아웃에 폐기 표시만 'neutral'로 바꾼 조건을 하나 더 만들어라.
  • 같은 질문 세트와 판정기로 세 조건의 정답률을 비교하라.
• flat 컨텍스트를 시간순 표로 바꿔보기
  • 시간, 증거, 값 열로 이벤트를 정렬해 프롬프트에 넣어라.
  • 오늘 가진 평가 셋으로 변경 전후 정답률을 재라.
• 현재값 질문엔 live/dead 이진 표시만 구현하기
  • 새 이벤트가 이전 이벤트를 대체하면 이전 항목에 invalid_at을 찍어라.
  • 관계 타입 분류기는 만들지 마라.
• 이력 질문이 있으면 무효화 항목 삭제 금지
  • '직전 값은?' 같은 질문이 있다면 무효화된 엣지를 유효 기간과 함께 저장하라.
  • 개인정보 이슈가 있으면 보존 기간 상한과 삭제 전파를 둬라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 렌더 고정 비교)

아래 이벤트 스트림에서 '현재 유효한 값'을 답해줘. 세 가지 방식으로 각각 답하고 비교해줘.

[이벤트]
{{이벤트 목록: 시각, 내용}}

[질문]
{{질문, 예: 지금 적용 중인 timeout은?}}

방식 A (flat): 이벤트를 무작위 순서의 텍스트로 보고 답하라.
방식 B (렌더만): 시간순 표(시간 | 증거 | 값 | 상태)로 정리하되 상태는 모두 neutral로 두고 답하라.
방식 C (폐기 표시): 같은 표에서 대체된 항목은 DEPRECATED, 유효한 항목은 LIVE로 표시하고 답하라.

마지막으로 A와 B, B와 C의 답이 어떻게 달라졌는지 정리해줘.

이어서 해 볼 것: 질문을 '직전 값은?'으로 바꿔 DEPRECATED 항목을 지운 표와 남긴 표를 비교해 봐.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://github.com/Anonymous-Awesome-Submissions/ESR-pipeline
• https://github.com/Anonymous-Awesome-Submissions/ESR-bench