Apple의 학습형 MIPS: 작은 신경망으로 RAG 검색 라우팅 가속하기
Faster Retrieval for Better, More Efficient RAG
TL;DR Highlight
작은 신경망으로 검색 경로를 학습했더니 같은 recall을 최대 8배 빠르게 얻었다
Who Should Read
수백만 개 문서를 벡터 검색(IVF)으로 서빙하면서 검색 지연과 recall 사이에서 고민하는 RAG 백엔드 개발자
Core Mechanics
- 쿼리 분포를 알면 검색을 학습시킬 수 있다
- 기존 근사 검색은 키(문서 벡터)의 구조만 보고 인덱스를 만든다.
- RAG의 쿼리는 짧은 질문이고 키는 긴 문서라서 둘의 모양이 많이 다르다.
- 운영 환경의 쿼리 분포는 안정적인데 기존 방식은 이 정보를 쓰지 않는다.
- MIPS는 support function 문제다
- 쿼리를 넣으면 키들과의 최대 내적값을 돌려주는 함수가 support function(볼록 함수)이다.
- 이 함수의 기울기(gradient)는 가장 잘 맞는 키 자체를 돌려준다.
- 그래서 이 함수를 작은 신경망으로 회귀(regression) 학습시킬 수 있다.
- SupportNet은 클러스터 라우팅을 대체한다
- 기존 IVF는 쿼리를 가장 가까운 centroid(클러스터 중심) 쪽으로만 보내서 outlier 키를 놓친다.
- SupportNet은 클러스터별로 '이 안에 최고 키가 얼마나 잘 맞나'를 점수로 낸다.
- 128개 클러스터로 나눈 Natural Questions(약 2.6M 패시지)에서 작은 모델이 95% routing recall을 centroid 대비 약 1.9배 빠르게 달성했다(1.74ms vs 3.36ms).
- KeyNet은 쿼리 재작성기처럼 동작한다
- 쿼리를 넣으면 가장 잘 맞을 키 벡터를 예측해서 출력한다.
- 기존 IVF 인덱스는 그대로 두고 쿼리만 바꿔서 넣으면 된다.
- FAISS IVF에서 99% recall에 걸리는 시간이 원본 쿼리 1.8ms 대비 최대 모델 0.23ms로 최대 약 8배 줄었다.
- 같은 비용에 recall이 오르고 스캔 양도 줄었다
- 데이터베이스의 0.001%만 스캔할 때 원본 쿼리는 86%, KeyNet은 89~97%(최대 모델 96.7%)였다.
- 99% recall에 필요한 스캔량이 원본 0.10% 대비 0.009%로 약 11배 적었다.
- 둘 중 뭘 쓸지는 목적에 따라 갈린다
- 추론 속도가 병목이고 최적 키 근사만 필요하면 KeyNet을 쓴다.
- 재랭킹·임계값용 보정된 점수가 필요하거나 모델이 작아야 하면 SupportNet을 쓴다.
- 키가 매우 많은 시스템에서는 SupportNet 라우터에 클러스터별 KeyNet을 함께 쓸 수도 있다.
Community Reactions
- BM25가 학습형보다 낫더라는 경험
- 수백만 개 이하 규모에서는 BM25 인덱스를 만들고 LLM에 검색 도구로 주고 넓게 검색하는 방식이 매번 이겼다는 경험담이 있었다.
- 학습형 방법은 수억 개 이상 하이퍼스케일에서 top-5 관련도가 매우 중요할 때나 의미가 있다는 의견이다.
- Spotify도 비슷한 학습형 검색을 발표했다는 정보
- 교사 LLM이 작은 라우터 LLM을 가르치는 'Parallel Fusion Router'가 있다는 댓글이 있었다.
- LLM-as-a-judge 보상 함수를 쓴다고 한다.
- 코드베이스에는 grep이 낫다는 반론
- 코드베이스에 RAG를 여러 번 만들어 봤지만 임베딩 모델이 grep을 넘지 못했다는 경험이 있었다.
- 테스트 파일과 문서가 매칭을 오염시켜서 정리가 필요하다는 지적이다.
- 큰 임베딩 모델을 쓸 바엔 LLM 서브에이전트에게 탐색을 맡기는 게 낫다는 의견이다.
- 검색 랭킹이 LLM에 편향을 준다는 의견
- 휴리스틱 기반 검색 결과가 LLM의 판단을 편향시키고, LLM이 직접 탐색하게 두는 쪽이 최종 품질이 좋았다는 경험이다.
How to Apply
- 내 쿼리 로그로 recall 기준선 측정하기
- 오늘 실제 사용자 질문 샘플 수백 개를 뽑아 전수 검색 결과를 정답으로 저장해라.
- 현재 IVF의 nprobe(탐색 클러스터 수)별로 정답 recall과 지연을 표로 만들어라.
- 이 표가 학습형 라우팅을 도입할 가치가 있는지 판단하는 기준이 된다.
- 쿼리 분포가 안정적인지 확인하기
- 이 방식은 쿼리 분포를 미리 알아야 하므로 최근 쿼리 로그의 주제 변화를 점검해라.
- 분포가 자주 바뀌면 원문이 말한 '약한 분포 변화에만 견딘다'는 한계를 감안해 도입을 미뤄라.
- IVF 앞단에 쿼리 재작성기 실험하기
- 정답 쌍(쿼리, 최적 키)으로 작은 회귀 모델을 학습해 FAISS IVF 앞에서 쿼리를 변환해라.
- 변환 시간을 포함한 총 지연과 recall을 원본 쿼리와 비교해라.
- 규모가 작으면 BM25+LLM 검색 도구부터 시도하기
- 문서가 수백만 개 이하이면 BM25 인덱스를 LLM 검색 도구로 붙여 같은 쿼리 샘플로 비교해라.
Try It
# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 학습 없이 쿼리 로그 분석으로 도입 가치 판단)
나는 RAG 검색 시스템을 운영한다. 아래 정보를 바탕으로 '쿼리 분포를 학습하는 검색 라우팅(SupportNet/KeyNet 방식)'이 우리에게 맞는지 판단해 줘.
- 문서(키) 수: {{문서 수}}
- 벡터 차원: {{차원}}
- 현재 인덱스: {{예: FAISS IVF, 클러스터 수 128}}
- 현재 검색 지연과 recall: {{수치}}
- 최근 사용자 쿼리 샘플 20개: {{쿼리 목록}}
다음을 답해 줘.
1. 쿼리 주제가 얼마나 좁고 안정적인지 평가
2. 전수 검색을 정답으로 한 recall 측정 실험 설계(샘플 수, 지표)
3. 문서가 수백만 개 이하라면 BM25 + LLM 검색 도구가 더 나을 수 있는지 비교 기준
이어서 해 볼 것: 설계된 실험을 내 쿼리 로그 일부로 돌려 보고 결과 표를 다시 붙여넣어 판단을 받아 봐.Terminology
관련 논문
FutureBench: LLM의 지식-컨텍스트 충돌을 반복 측정하는 벤치마크
RAG 프롬프트에 '검증하고 문서 우선'을 넣었더니 거짓 문서 채택이 늘었다
Memorilla: frozen LLM을 위한 잠재 의미 메모리
문서를 16개 메모리 토큰으로 압축했더니 FactKG에서 풀컨텍스트보다 정확도가 높았다
작성자가 쓴 것, 에이전트가 읽는 것: 문서 수집 단계의 조용한 서식 정보 손실
docx 변환 시 빨간 글자·형광펜을 살렸더니 중요 요구사항 복원 F1이 0.150→0.690으로 올랐다
멀티모달 리랭킹은 System One 결정이다: 범용 VLM에 객관식 한 번으로 재정렬하기
VLM에 후보 16개 객관식 질문 한 번으로 리랭킹, 2B 전용 리랭커를 앞섰다
트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다
선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상
400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다
임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴
EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델
740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색
RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격
검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다