Agent Memory는 권한 세탁(Endogenous Authorization Laundering)의 통로다

Who Should Read

장기 실행 에이전트에 요약·메모리 기능을 붙여 구매·보안·거래 같은 툴 권한을 다루는 백엔드 개발자

Core Mechanics

• 메모리가 없던 권한을 만든다
  • 공격자 없이 에이전트 자기 메모리가 가짜 권한을 만드는 현상을 endogenous authorization laundering이라 부른다.
  • 철회된 권한을 잊거나 출처가 약한 정보를 권한으로 저장하면서 생긴다.
• 증분 업데이트가 가장 위험하다
  • 이전 메모리와 새 블록만 보고 고치는 방식은 한 번 생긴 오류가 계속 이어진다.
  • 구조화(typed) 메모리 + 증분 업데이트가 모든 도메인에서 가장 안전하지 않았다.
• 가짜 권한이 있으면 실행기는 거의 따른다
  • 메모리에 가짜 권한이 있으면 executor가 98.6% 실행했다.
  • 메모리를 정답 상태로 바꾸면 무권한 실행이 0이 됐다.
• executor를 바꿔도 소용없다
  • 같은 메모리를 두 executor에 돌리면 무권한 실행률 차이가 도메인별 1.1%p 이내였다.
  • 방어는 모델 교체가 아니라 저장된 메모리 자체를 겨냥해야 한다.
• 방어하면 정상 요청도 막힌다
  • 출처 검증 게이트와 event sourcing 모두 무권한 실행을 크게 줄였다.
  • 대신 정상 요청 허용률도 같이 떨어지는 safety–utility 트레이드오프가 있다.

Evidence

• 가짜 권한 형성률 최대 50.2%
  • typed 증분 메모리에서 P(F)는 조달 28.3%, 사이버보안 10.4%, 금융 50.2%였다.
  • 각각 실제 무권한 실행률(28.9%, 10.4%, 51.0%)과 0.8%p 이내로 일치했다.
• 정답 메모리로 교체하면 0%
  • 오류 메모리에서 무권한 실행은 98.6%(조달 66/68, 보안 60/60, 금융 79/80)였다.
  • 정답(oracle-exact) 메모리로 바꾸면 세 도메인 모두 0/208이었다.
• 방어책의 효과와 비용
  • typed 증분 기준 무권한 실행이 25.3%에서 게이트 7.3%, event sourcing 9.0%로 줄었다.
  • 정상 요청 허용률은 93.3%에서 게이트 53.8%, event sourcing 64.7%로 떨어졌다.
• writer 연산 늘려도 선택이 병목
  • 후보 k=1→8에서 무권한 실행이 13.2%→8.6%로 줄었다.
  • k=8에서 정답 메모리가 풀의 55.0%에 있었지만 self-review는 26.7%, DeepSeek 리뷰는 30.0%만 골랐다.

How to Apply

• 메모리 권한 항목에 출처 ID 붙이기
  • 오늘 메모리 스키마에 권한·제한·철회마다 source_id, 발급자, 상태(active/revoked), 유효기간 필드를 추가하라.
  • 권한 저장 시 발급 가능한 주체의 원본 메시지를 가리키지 않으면 저장을 거부하라.
• 권한은 요약이 아니라 이벤트 로그로 관리하기
  • 변경 사항(grant, revoke, replace)만 LLM이 추출해 불변 로그에 추가하라.
  • 현재 권한 상태는 결정론적 코드(reducer)가 로그에서 계산하라.
• 실행 직전 권한을 원본 기준으로 재검증하기
  • 구매·삭제·거래 같은 툴 호출 전에 메모리가 아니라 권한 DB나 로그로 확인하라.
  • 메모리 상태만으로 호출을 통과시키지 마라.
• 오탐 비용을 보고 방어 강도 정하기
  • 놓친 위반이 치명적이면 출처 게이트를, 정상 작업 중단이 큰 문제면 event sourcing을 택하라.
  • 무권한 실행률과 정상 허용률을 함께 측정하라.

Try It

# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 메모리 권한 감사)

아래는 에이전트의 장기 메모리와 원본 대화 이력이다. 메모리에 저장된 각 권한 항목을 원본 이력과 대조해 감사하라.

[메모리]
{{메모리}}

[원본 이력]
{{이력}}

항목마다 다음을 표로 출력하라: (1) 근거 메시지 ID (2) 그 메시지의 발신자가 권한을 줄 수 있는 주체인지 (3) 이후 철회·축소·교체됐는지 (4) 범위(금액·대상·기간)가 원본과 일치하는지 (5) 판정: 유효 / 가짜 권한 / 과도 확장.

이어서 해 볼 것: 요청 {{요청}}이 유효한 권한 하나로 완전히 커버되는지 판정하라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://github.com/tommasocerruti/eal-bench