Memorilla: frozen LLM을 위한 잠재 의미 메모리
Memorilla: Latent Semantic Memory for LLMs
TL;DR Highlight
문서를 16개 메모리 토큰으로 압축했더니 FactKG에서 풀컨텍스트보다 정확도가 높았다
Who Should Read
긴 대화 기록이나 문서를 매번 컨텍스트에 넣느라 토큰 비용과 정확도로 고민하는 에이전트·RAG 백엔드 개발자
Core Mechanics
- 문서를 토큰 몇 개로 압축한다
- Memorilla는 문서 전체를 질문마다 달라지는 고정 개수의 '메모리 토큰'으로 모아 frozen LLM(가중치를 고정한 모델)에 준다.
- 문서는 한 번만 재사용 가능한 임베딩(텍스트를 숫자 벡터로 바꾼 것)으로 인코딩해 둔다.
- 텍스트 대신 입력 임베딩에 직접 넣는다
- 질문에 맞는 정보를 찾아 LLM의 입력 임베딩 공간에 배치하도록 학습한다.
- 검색된 글을 프롬프트에 붙이는 방식이 아니다.
- 16토큰으로 8개 중 5개 벤치마크 최고
- Mem0, MemoRAG 등 베이스라인과 비교한 결과다.
- 벤치마크는 개인화, 장문 문서, 지식집약 QA를 포함한다.
- FactKG에서 풀컨텍스트를 넘어섰다
- 정확도는 84.33%로, 풀컨텍스트 추론의 80.43%보다 높았다.
- 원문 문서를 표현하는 토큰은 108배 적었다.
- TextWorld 에이전트 성공률 상승
- 평균 성공률이 풀히스토리 in-context learning의 18.6%에서 24.2%로 올랐다.
- 이미 탐색한 방을 다시 헤매는 경향도 줄었다.
Community Reactions
- 메모리 토큰은 '분위기'를 주입한다는 의견
- 특수 임베딩된 RAG가 에이전트 질의를 받아 메인 모델 입력 스트림에 텍스트 없이 직접 주입하는 구조라는 해석이 나왔다.
- 개념 검색은 강하고 인용·정확한 문구 검색은 약하다는 결과와 맞아떨어진다는 의견이다.
- 풀텍스트 검색이면 충분하다는 반론
- 프런티어 모델이 쓰면 의미 검색과 어휘 검색 차이가 거의 없다는 경험이 공유됐다.
- 모델이 Lucene 같은 FTS 쿼리를 잘 짜서 어휘 검색만으로도 의미 검색 효과를 낸다는 주장이다.
How to Apply
- 지금 RAG에서 정확 인용 질문을 따로 분류하기
- 오늘 30분 동안 자기 서비스 질문 로그에서 개념 질문과 정확한 문구 질문의 비율을 센다.
- 정확한 문구가 필요한 질문은 압축 메모리가 아니라 원문 검색으로 처리하도록 나눠 둔다.
- 풀컨텍스트와 검색 방식 비교 평가 세트 만들기
- 긴 대화 기록이 있는 기능에서 풀컨텍스트와 현재 메모리 방식의 정답률·토큰 수를 같은 질문으로 비교한다.
- 압축 방식 도입 여부는 이 차이로 판단한다.
- FTS 기반 검색을 기준선으로 두기
- 임베딩 파이프라인을 늘리기 전에 모델이 FTS 쿼리를 생성하는 방식과 정답률을 비교한다.
- 에이전트 기록이 길어지는 작업은 Mem0 등과 함께 기준선으로 측정한다.
Try It
# Claude 또는 ChatGPT 대화창에 붙여넣기 (논문 방법의 간이 버전: 학습 없이 질문별 압축 메모리를 흉내 냄)
당신은 메모리 압축기입니다. 아래 문서에서 질문에 필요한 정보만 골라 번호 없는 짧은 메모 5줄 이내로 압축하세요. 정확히 인용해야 할 문구, 숫자, 고유명사는 원문 그대로 남기세요.
[문서]
{{문서}}
[질문]
{{질문}}
먼저 압축 메모만 출력하세요. 그 다음 그 메모만 근거로 질문에 답하고, 메모에 없어서 답할 수 없는 부분은 '메모 부족'이라고 쓰세요.
이어서 해 볼 것: 같은 질문을 전체 문서를 넣고 다시 물어 답과 토큰 수를 비교해 보세요.Terminology
관련 논문
작성자가 쓴 것, 에이전트가 읽는 것: 문서 수집 단계의 조용한 서식 정보 손실
docx 변환 시 빨간 글자·형광펜을 살렸더니 중요 요구사항 복원 F1이 0.150→0.690으로 올랐다
멀티모달 리랭킹은 System One 결정이다: 범용 VLM에 객관식 한 번으로 재정렬하기
VLM에 후보 16개 객관식 질문 한 번으로 리랭킹, 2B 전용 리랭커를 앞섰다
트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다
선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상
400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다
임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴
EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델
740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색
RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격
검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다
텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교
문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다
MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서
NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다