멀티모달 리랭킹은 System One 결정이다: 범용 VLM에 객관식 한 번으로 재정렬하기
Multimodal Reranking Is a System One Decision
TL;DR Highlight
VLM에 후보 16개 객관식 질문 한 번으로 리랭킹, 2B 전용 리랭커를 앞섰다
Who Should Read
이미지·PDF 페이지 검색(RAG) 결과의 순서를 개선하려는데 별도 리랭커 모델 운영이 부담인 백엔드 개발자
Core Mechanics
- 후보마다 yes/no 묻기는 역효과
- 후보별 yes/no 질문은 zero-shot에서 1단계 검색(first stage)보다 점수가 낮아졌다.
- 후보 16개를 한 프롬프트에 A~P로 넣고 '가장 맞는 것은?'이라고 묻는 객관식이 더 낫다.
- 객관식은 forward pass 한 번
- 텍스트를 생성하지 않고 다음 토큰 확률에서 A~P 라벨 확률만 뽑아 정규화해 순서를 정한다.
- 학습이 필요 없고 모델 호출도 쿼리당 1회다.
- 범용 27B가 전용 2B 리랭커를 이겼다
- zero-shot Qwen3.8-27B가 지도학습된 Qwen3-VL-Reranker-2B를 세 벤치마크 모두에서 앞섰다.
- 8B 전용 리랭커와도 각 벤치마크에서 1.6점 이내다.
- 모델 크기가 작으면 안 통한다
- Gemma 4의 E2B, E4B는 세 벤치마크 모두에서 1단계보다 점수가 떨어졌다.
- 12B 이상부터 문서 페이지 검색이 좋아졌다.
- 텍스트로만 튜닝해도 페이지 리랭킹이 약간 개선
- 텍스트 결정만으로 튜닝한 JEV-27B-VL이 문서 페이지 리랭킹에서 0.6~1.1점 올랐다.
- 자연 이미지는 그대로였다.
- 이미지만 쿼리면 오히려 손해
- 쿼리에 텍스트가 있는 9개 이미지 태스크는 모두 올랐다.
- 쿼리가 이미지뿐인 3개 태스크는 내려갔다.
Evidence
- 객관식 vs yes/no, MMEB-V2 이미지 검색
- 객관식이 후보별 yes/no보다 hit@1이 5.4~7.3점 높았다.
- Qwen3.8-27B는 객관식 76.76, yes/no 69.50, 1단계 74.85였다.
- Qwen3.8-27B vs 전용 리랭커
- Reranker-2B 대비 hit@1 2.3, nDCG@5 2.1, nDCG@10 1.8점 높았다.
- MMEB-V2 visdoc에서 Reranker-8B와 84.79 vs 84.78(nDCG@5)로 동률이었다.
- JEV-27B-VL의 페이지 리랭킹 개선
- Qwen3.8-27B 대비 MMEB-V2 visdoc nDCG@5 +0.63, ViDoRe V3 nDCG@10 +1.09였다.
- 부호 검정 p = 0.017과 0.008이었다.
- 지연 시간, ViDoRe V3 쿼리당 H200 1대
- Qwen3.8-27B 객관식은 3.97초로 Reranker-8B의 3.67초 대비 1.1배였다.
- Reranker-2B(2.75초) 대비 1.4배, 배치 처리 시 8B 대비 1.5배였다.
How to Apply
- 기존 리랭킹 프롬프트를 객관식으로 바꿔 보기
- 오늘 후보별 yes/no 점수를 매기는 코드가 있으면, 상위 16개를 A~P 라벨로 묶어 한 번에 고르게 바꿔 비교하라.
- 같은 평가셋에서 hit@1이나 nDCG를 1단계 결과와 나란히 측정하라.
- 이미 쓰는 큰 VLM으로 리랭킹 겸용하기
- RAG 답변 생성에 큰 VLM을 이미 서빙 중이면 같은 모델로 상위 후보를 재정렬하라.
- 별도 리랭커 학습·서빙을 줄일 수 있는지 지연 시간과 함께 확인하라.
- 작은 모델은 도입 전 1단계 대비 점수 확인하기
- 12B 미만 모델은 1단계보다 나빠질 수 있으니 반드시 1단계 순서와 비교하라.
- 후보 순서와 쿼리 유형을 점검하기
- 후보는 1단계 순서대로만 넣어 순서 편향이 있을 수 있으니 순서를 바꿔 결과가 흔들리는지 확인하라.
- 이미지만 쿼리인 경우는 리랭킹을 끄고 1단계 순서를 유지하는 방안을 비교하라.
Try It
# Claude나 ChatGPT에 이미지/문서 후보를 첨부하고 붙여넣기 (논문 방법의 간이 버전: 로짓 대신 답변 글자만 받음)
Instruction: {{검색 지시문}}
Query: {{질문}}
Candidates:
Candidate A: {{후보 1}}
Candidate B: {{후보 2}}
Candidate C: {{후보 3}}
...
Candidate P: {{후보 16}}
Which candidate best matches the query, following the instruction? Answer with the letter of the best candidate only (A-P).
# 이어서 해 볼 것: 후보 순서를 섞어 다시 물어 같은 글자를 고르는지 확인해 보세요.Terminology
관련 논문
트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다
선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상
400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다
임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴
EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델
740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색
RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격
검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다
텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교
문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다
MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서
NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다
임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환
짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다
Better Together: 강한 RAG 베이스라인 위에서 쿼리 리라이팅 조합하기
쿼리 리라이팅을 합치고 점수 낮을 때만 돌렸더니 비용 40%로 효과 절반
Related Resources
Original Abstract (Expand)
Multimodal rerankers are usually dedicated models: a vision-language model (VLM) is trained on retrieval data to score the candidates of a query. Scoring options is not specific to reranking. System One decision models such as Jev map a state and a typed question to one probability per option without generating text, and general models can make such decisions with little or no training. Reranking is one such decision, with the query and its candidates as the state and the candidates as the options. We therefore argue that a general VLM can serve as a multimodal reranker through System One decisions, and that decision tuning can improve its reranking. We ask a VLM one choice question over the top 16 candidates of a first-stage retriever and rank the candidates by the probabilities of their labels, read from one forward pass. On MMEB-V2 image retrieval, this choice scores 5.4 to 7.3 hit@1 above a yes/no question per candidate, and the yes/no question falls below the first stage. With the choice, zero-shot Qwen3.8-27B beats the supervised Qwen3-VL-Reranker-2B on all three benchmarks and comes within 1.6 points of Reranker-8B on each. It matches Reranker-8B on MMEB-V2 visual documents (84.79 vs. 84.78 nDCG@5), at 1.1 to 1.5 times its latency. JEV-27B-VL, the same backbone tuned on text decisions only, improves page reranking by 0.6 to 1.1 points, with gains on most tasks (sign test, p <= 0.017), and leaves natural images unchanged. The zero-shot model is larger than the supervised rerankers and of a newer generation, so these comparisons are confounded; we discuss this and other alternative views, and the experiments that would test the position.