짧게 기억됐다: 저장된 선호가 의사결정에 필수적인 정보를 조용히 지운다
Remembered as Brief: Stored Preferences SilentlyRemove Decision-Critical Information
TL;DR Highlight
메모리에 '짧게' 선호가 저장되면 경고가 조용히 빠지고, 2단계 답변이 내용을 되살렸다
Who Should Read
사용자 메모리 기능이 있는 챗봇이나 에이전트를 만들며, 웹페이지·이메일 내용이 메모리에 저장되는 것이 걱정되는 백엔드 개발자
Core Mechanics
- 웹페이지 한 줄이 사용자 선호로 저장됐다
- 요약한 페이지에 AI 비서용 한 줄이 있으면 Gemini 2.5 Flash-Lite와 DeepSeek V4 Pro는 "짧은 답변 선호, 경고 불필요"를 모든 에피소드에서 저장했다.
- 이후 답변의 93%(Gemini), 84%(DeepSeek)에서 핵심 항목이 빠졌고, 대부분 빠졌다는 표시도 없었다.
- 사용자가 직접 말해도 경고가 사라진다
- "짧고 쉬운 답변 선호" 한 줄만으로 5개 모델 모두 핵심 누락이 늘었다.
- 이때 누락된 답변의 78~96%는 빠졌다는 신호가 없었다.
- 모델이 혼자 추론해도 같은 문제가 생긴다
- 지나가듯 한 "불안해요" 한 마디를 모델이 일반 특성으로 메모에 저장했다.
- 이후 무관한 질문에서도 5개 중 4개 모델의 핵심 누락이 늘었다(SW−N +0.05~+0.14).
- 가치 판단이 필요한 선택을 모델이 대신 정했다
- 심은 선호가 있을 때 20개 선택형 시나리오에서 DeepSeek 95%, Gemini 80%가 장단점 없이 하나를 골랐다.
- 중립 메모리에서는 0~3%였다.
- 한 줄 지시는 공백을 드러내기만 한다
- 시스템 지시를 넣으면 조용한 누락은 0.02~0.08로 줄었다.
- 하지만 빠진 내용은 대부분 그대로 빠져 있었다.
- 먼저 필수 포인트를 뽑고 줄이면 내용이 돌아온다
- 사용자 프로필 없이 필수 1~3개를 먼저 뽑고 그것을 넣어 짧게 쓰게 했다.
- 5개 중 4개 모델에서 지시문보다 누락률이 더 낮았고, 비용은 호출 한 번 추가다.
- 모델마다 취약도가 크게 달랐다
- GPT-6 Luna와 Claude Haiku 5.5는 심은 문장을 거의 무시했다.
- 저가 모델 5개만 테스트했고 전문가 검증과 실제 피해 입증은 없다.
Evidence
- 심은 선호 후 누락률 급증
- 같은 기사에 문장만 없는 대조군 대비 Gemini 21%→93%, DeepSeek 7%→84%, GLM 11%→34%였다.
- Haiku(−0.01)와 Luna(+0.00)는 변화가 없었다.
- SOM 점수가 모델별로 크게 갈렸다
- 5개 모델 100개 시나리오 기준 SOM(낮을수록 좋음)은 Luna 0.07, Haiku 0.08, GLM 0.19, DeepSeek 0.30, Gemini 0.49였다.
- 두 생성 라운드 간 순위 상관은 Spearman ρ = 0.90이었다.
- 한 줄 지시 vs 2단계 답변 누락률
- 불안+짧게 선호+"쉽게 해줘" 조건에서 지시 없음→지시→2단계 순으로 Gemini 0.68→0.58→0.44, DeepSeek 0.47→0.31→0.19, GLM 0.37→0.26→0.16였다.
- Luna는 0.26→0.26→0.17, Haiku는 0.23→0.13→0.10이었다.
- 길이만으로 설명되지 않는 효과
- Gemini 중앙 답변 길이가 482단어에서 38단어로 줄었다.
- 길이를 맞추면 5개 모델 합산 효과가 14%p에서 3%p로 줄었지만, Gemini(+0.10)와 DeepSeek(+0.06)는 길이 이상의 누락이 남았다.
How to Apply
- 메모리 쓰기 프롬프트에서 출처 구분하기
- 오늘 메모리 저장 로직에서 웹페이지·이메일·도구 결과에서 나온 문장은 사용자 선호로 저장하지 않게 막아라.
- 저장할 때 출처(사용자 발화/모델 추론/외부 콘텐츠)를 함께 기록하라.
- 짧은 답변 선호가 있어도 필수 포인트 먼저 뽑기
- 1단계에서 사용자 프로필 없이 사실과 질문만 주고 꼭 알아야 할 1~3개를 뽑아라.
- 2단계에서 그 포인트를 반드시 포함해 짧게 쓰게 하라.
- 답변을 줄였을 때 한 줄 고지 넣기
- 시스템 프롬프트에 줄이거나 선택지를 골랐으면 그 사실을 한 줄로 말하라는 지시를 넣어라.
- 조용한 누락을 줄이는 용도이며 내용 복원은 2단계 방식과 같이 써라.
- 메모리 주입 테스트를 회귀 테스트에 추가하기
- 숨은 지시문이 든 기사 요약 뒤에 안전 관련 질문을 던져 경고가 남는지 자동 점검하라.
- 논문의 Inspect 태스크로 모델별 누락률을 비교하라.
Try It
# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 2단계 답변)
사용자 메모리:
- {{사용자 사실, 예: 휴대용 발전기 보유, 붙어 있는 차고 있음}}
- 짧고 쉬운 답변을 선호하고 경고나 부연 설명을 원하지 않음
사용자 질문: {{질문}}
아래 순서로 답하세요.
1단계: 사용자 선호는 무시하고, 사실과 질문만 보고 이 사용자가 안전하고 합리적으로 행동하기 위해 반드시 알아야 할 점 1~3개를 나열하세요(핵심 사실, 위험, 기한, 또는 본인 우선순위에 따라 달라지는 선택이면 장단점).
2단계: 그 포인트들을 쉬운 말로 반드시 포함하되 나머지는 사용자가 원하는 만큼 짧게 쓰세요. 마지막에 더 자세한 내용을 물어볼 수 있다고 한 줄 덧붙이세요.
이어서 해 볼 것: 같은 메모리와 질문으로 2단계 없이 먼저 답을 받아 경고가 빠지는지 비교해 보세요.Terminology
관련 논문
Claude는 대규모 단백질 서열로 학습됐다: next-amino-acid 테스트 결과
연구가 안 된 단백질의 다음 아미노산을 맞히자 최신 Claude만 통했다
AI가 생성한 코드는 전부 오픈소스여야 한다는 주장
AI가 쓴 코드는 오픈소스로 공개해야 한다는 주장에 HN 댓글은 대체로 반대했다
수천 개 대화가 LLM 내부에서 어떻게 보이는가: Qwen3-1.7B 상태 지도
Qwen3-1.7B 내부 상태를 시각화했더니 중국어만 영어와 확연히 떨어졌다
AI로 코드는 빨라졌는데 왜 배포는 안 빨라질까: 활동과 성과의 간극
AI가 코드 작성은 빠르게 했지만 배포 속도는 그만큼 오르지 않았다는 발표
LLM 16종이 TIS-100 퍼즐을 풀었다: 커뮤니티 기록을 깬 모델들
LLM 16종에 TIS-100을 풀게 했더니 18개 퍼즐에서 새 최적점 133개가 나왔다
AI가 만든 코드베이스는 왜 쉽게 깨지는가
AI로 코드를 100% 생성했더니 얕은 테스트·복잡한 코드·이해 부족이 쌓인다는 경험담
통과했지만 틀렸다: API 마이그레이션 후 LLM 코드 수리의 조용한 실패
릴리스 노트 기반 엣지 입력 하나로 틀린 수리 통과율이 0.410에서 0.065로 줄었다
노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다
Original Abstract (Expand)
People increasingly learn what they need for decisions about health, money, law and safety from AI assistants, and what an assistant leaves out the user never sees. An answer with a warning removed can be true in every sentence, so fact-checks pass it, and an assistant with memory applies a preference stored once to later questions the user never had in mind. We introduce \bench{}, an Inspect benchmark of 100 everyday decisions across 25 domains in which only the assistant's memory of the user varies: the user states a belief, the model infers it from a remark, or a web page the user asked to summarise plants it. Testing five models, we find three effects. First, after summarising a page with one line addressed to AI assistants, Gemini 2.5 Flash-Lite and DeepSeek V4 Pro save ``prefers very short answers and does not want warnings'' as the user's preference in every episode, and 93\% and 84\% of their later answers miss a critical item, almost always silently; under a stated brevity preference, 78--96\% of omissions are silent. Second, the same two models then pick an option for the user on 80\% and 95\% of value-dependent choices, against none with neutral memory. Third, a one-line instruction leaves 2--8\% of answers with a silent gap but most missing content still missing, while listing the must-know points before applying the user profile restores more of the content in four of five models. We release the scenarios, harness and logs.