텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교
Text, Pixels, or Both? Evaluating Input Representations for Multimodal Document QA
TL;DR Highlight
문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다
Who Should Read
PDF·사내 지식베이스 문서 QA에서 OCR 텍스트와 페이지 이미지 중 무엇을 LLM에 넣을지 고민하는 백엔드 개발자
Core Mechanics
- 이미지 입력이 정확도는 항상 앞섰다
- 50쪽 이하 문서에서는 모든 길이 구간에서 이미지가 텍스트보다 정확했다.
- 사내 KB와 MMLongBench-Doc 두 데이터셋 모두 같은 결과였다.
- 문서가 길수록 이미지는 느려진다
- 텍스트 지연은 문서 길이와 상관없이 거의 평평했다.
- 이미지 지연은 길이에 따라 계속 올랐다.
- 텍스트와 이미지는 틀리는 문제가 다르다
- 둘 중 하나만 맞히는 문항이 19~25%였다.
- 어느 쪽도 다른 쪽을 완전히 대체하지 못한다.
- 텍스트+이미지 동시 입력은 모델 따라 다르다
- GPT 계열은 KB에서 이미지 단독보다 약 5%p 올랐다.
- Gemini Pro는 MMLongBench-Doc FULL에서 이미지 단독보다 오히려 떨어졌다.
- 질문 텍스트만 보는 라우터로도 효과가 났다
- TF-IDF 로지스틱 회귀가 질문마다 텍스트/이미지를 골랐다.
- 질문의 26.8%만 이미지로 보내 항상 텍스트 대비 정확도를 올렸다.
Evidence
- 항상 텍스트 대비 이미지 정확도(ORACLE)
- 텍스트 대비 이득이 KB에서 최대 14.8%p, MMLongBench-Doc에서 최대 11.6%p였다.
- KB 평균 정확도는 텍스트 0.611, 이미지 0.708, 텍스트+이미지 0.731이었다.
- 비용과 지연 비교(4모델·2데이터셋 평균)
- ORACLE에서 텍스트→이미지는 비용 0.61→0.91달러/100문항(1.5배), 지연 3.3→4.9초였다.
- FULL에서 이미지는 텍스트 대비 비용 1.9배, 텍스트+이미지는 2.4배였고, 지연은 이미지 7.0초 대 텍스트 3.7초였다.
- 라우터 결과(FULL, 문서 분리 held-out)
- 전체 정확도는 항상 텍스트 63.6%, 항상 이미지 67.7%, 라우터 66.2%였다.
- 중앙 지연은 항상 이미지 4.4초에서 라우터 3.1초로 약 30% 줄었다.
- 데이터셋별 라우터 이득
- KB는 65.0%에서 67.8%(+2.7%p)로 올랐다.
- MMLongBench-Doc은 53.9%에서 55.9%(+2.0%p)로 올랐다.
How to Apply
- 내 문서 샘플 50개로 텍스트 대 이미지 비교하기
- 실제 질문 50개를 골라 OCR 텍스트 입력과 페이지 이미지 입력으로 각각 돌리고 정답률과 지연을 기록하라.
- 같은 프롬프트와 같은 채점 기준을 쓰고 입력 방식만 바꿔라.
- 두 방식이 갈리는 질문 유형 뽑아내기
- 한쪽만 맞힌 질문을 모아 표·스크린샷·도식 참조 여부로 분류하라.
- 이미지가 필요한 유형을 정리해 라우팅 규칙 후보로 삼아라.
- 질문 텍스트 기반 라우터 붙이기
- 두 방식 결과 라벨로 TF-IDF + 로지스틱 회귀(class_weight=balanced)를 학습하라.
- 이미지가 유리하다고 예측된 질문만 페이지 이미지로 보내라.
- 이미지 상한과 문서 길이를 점검하기
- 이미지를 공급자 페이지 제한(논문은 50장)으로 자르는 구간을 확인하라.
- 제한을 넘는 긴 문서는 텍스트 경로를 기본으로 두어라.
Try It
# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 질문이 이미지가 필요한지 판별)
너는 문서 QA 라우터다. 아래 질문만 보고, 답하려면 페이지 이미지(표, 차트, 스크린샷, 레이아웃)가 필요한지 OCR 텍스트로 충분한지 판단하라.
질문: {{질문}}
출력 형식(JSON): {"route": "text" 또는 "image", "reason": "한 문장"}
이어서 해 볼 것: 질문 20개를 넣어 보고, 실제로 텍스트와 이미지로 각각 돌린 결과와 비교해 보라.Terminology
관련 논문
트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다
선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상
400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다
임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴
EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델
740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색
RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격
검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다
MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서
NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다
임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환
짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다
Better Together: 강한 RAG 베이스라인 위에서 쿼리 리라이팅 조합하기
쿼리 리라이팅을 합치고 점수 낮을 때만 돌렸더니 비용 40%로 효과 절반
Original Abstract (Expand)
Every document QA system begins with a choice that is rarely studied on its own: whether to feed the model page images, extracted text, or both. We isolate this choice, holding the prompt, judge, and scoring pipeline fixed, across four commercial model endpoints, two corpora, and two context regimes (gold evidence pages and the full document). On documents that fit the image budget, page images lead on accuracy at every document length on both corpora, but this advantage carries a growing latency and cost premium: text latency stays roughly flat as documents lengthen while image latency rises steadily. Text and images also fail on different questions, with exactly one representation correct on 19--25% of items across the reported cells, so neither subsumes the other. Exploiting this complementarity, a lightweight TF-IDF router that reads only the question text gains 2.6 points over always-text while cutting median latency 30% relative to always-vision, on a document-disjoint held-out split.