언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
Know When to Zoom: How Small Is Too Small for Vision-Language Models?
TL;DR Highlight
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
Who Should Read
드론·위성·CCTV 같은 고해상도 사진을 Claude·Gemini·GPT API로 분석하는데 작은 물체를 자꾸 놓쳐 고민인 백엔드 개발자
Core Mechanics
- 서비스가 모델 전에 이미지를 줄인다
- Claude는 긴 변을 최대 2576px로 줄이고, Gemini는 이미지를 최대 280~2,240 토큰으로 바꾼다.
- OpenAI 기본 설정은 30,000 패치를 넘는 이미지를 에러로 거절한다.
- 큰 사진일수록 읽히는 글자 크기도 커진다
- 작은 캔버스에서는 모두 6px 이하 글자를 읽었다.
- 7680×4320 사진에서는 기본 설정 기준 10~13px 이상이어야 절반쯤 읽힌다고 예측했다.
- 타일로 쪼개면 디테일이 돌아온다
- 최대 9타일로 Claude·Gemini 정확도가 11.1~14.5%p 올랐다.
- GPT-6.1 Sol은 거절을 피해 50.7%에서 83.7%가 됐다.
- 2단계 줌은 토큰이 훨씬 적다
- 모델이 필요한 영역 좌표를 먼저 말하고, 그 영역을 잘라 개요 이미지와 함께 다시 보낸다.
- Gemini에서는 타일과 같거나 나았고 이미지 토큰은 타일의 약 40%였다.
- Gemini는 틀려도 자신 있게 답한다
- 디테일이 사라졌을 때 Claude와 Gemini 모두 약 절반은 모르겠다고 답했다.
- 나머지 중 자신 있는 오답은 Gemini 43~48%, Claude 5~9%였다.
- Claude는 답변 자체가 줌 신호가 된다
- 크기 기반 사전 검사는 타일 이득 대부분을 놓쳤다.
- 모르겠다는 답이 나왔을 때만 타일링하면 항상 타일링과 1.4%p 차이였다.
Evidence
- 타일링 정확도 상승폭, 601문항 기준
- 원본 전송 대비 Haiku +14.5%p, Sonnet +11.1%p, Flash-Lite +12.0%p, Flash +12.5%p였다.
- 원격탐사에서 Sonnet은 3×3 타일로 60.0%에서 80.8%가 됐다.
- OpenAI 기본 설정 거절 규모
- 601문항 중 215개 사진이 거절됐고 HR-Bench는 150문항 중 144개였다.
- 받아들여진 386장에서 Sol은 원본 기준 79.0%였다.
- 2단계 줌 정확도, 3×3 타일 대비
- Flash-Lite 72.2% 대 70.5%, Flash 83.0% 대 80.5%였다.
- Luna는 타일보다 4.5%p 높았다.
- 답변 기반 트리거 결과
- Haiku 72.4%, Sonnet 82.9%로 항상 타일링과 1.4%p 이내였다.
- 이미지 토큰은 항상 타일링의 62~70%였다.
How to Apply
- 오늘 내 이미지 파이프라인의 리사이즈 규칙 확인하기
- 쓰는 서비스의 이미지 한도(Claude 2576px, Gemini 토큰 상한, OpenAI 30,000 패치)를 표로 정리하라.
- 실제 입력 사진 크기와 비교해 줄어들거나 거절되는 비율을 세어 보라.
- Claude는 모르겠다 응답에만 타일링 붙이기
- 원본으로 먼저 호출하고 답에 모르겠다 또는 신뢰도 70 미만이 나오면 2×2 또는 3×3 타일로 재호출하라.
- 정확도가 가장 중요한 곳은 처음부터 전부 타일링하라.
- Gemini는 2단계 줌을 기본으로 쓰기
- 1차 호출에서 left, top, right, bottom을 0~1 비율로 받아 유효한 박스인지 검사하라.
- 유효하지 않으면 전체 사진을 보내고, 2차에는 잘라낸 영역에 20% 여백을 더해 개요와 함께 보내라.
- OpenAI 기본 설정에서는 큰 이미지를 타일로 보내기
- 30,000 패치를 넘는 이미지는 거절되므로 타일링하라.
- 줌할 때 자른 영역도 한도를 넘지 않게 하라.
Try It
# Claude나 ChatGPT에 이미지를 첨부하고 붙여넣는 프롬프트 (논문 2단계 줌 방법의 간이 버전)
첨부한 큰 사진에 대해 질문에 답하려고 한다.
질문: {{질문}}
1단계: 답하기 전에, 이 질문에 답하려면 사진의 어느 영역을 확대해서 봐야 하는지 알려줘.
영역은 left, top, right, bottom 네 값을 사진 너비·높이에 대한 0~1 비율로 JSON 한 줄로만 출력해.
이어서 해 볼 것: 그 좌표로 원본을 잘라(상하좌우 20% 여백) 원본 개요 이미지와 함께 다시 올리고 같은 질문을 해서 1단계 전 답과 비교해 봐.Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습
NVIDIA가 AI 스타트업에 투자해 GPU 부족을 키웠다는 WSJ 보도
WSJ: NVIDIA가 투자한 스타트업이 다시 NVIDIA GPU를 사게 했다는 의혹
Related Resources
Original Abstract (Expand)
Online vision-language models often miss small details in large images, because the service shrinks the image, or rejects it, before the model ever sees it. A car 20 pixels wide in an 8000 by 6000 drone photo reaches Claude about 6 pixels wide, and OpenAI's default rejects the photo outright. We measure how much detail survives for seven models from four vendors, using an eye exam of printed codes and 601 questions about small objects in real photos. The smallest text a model reads half the time grows from 6 pixels or less on a small image to a predicted 10 to 13 pixels on a 7680 by 4320 photo at default settings. Zooming wins much of the detail back. Splitting each photo into up to nine tiles raises accuracy by 11.1 to 14.5 percentage points for Claude and Gemini, and by avoiding rejections it lifts GPT-6.1 Sol from 50.7% to 83.7%. A two-step zoom, in which the model first names the region it needs, matches or beats tiles on Gemini and comes within 2.5 points of them on Claude, with about 40% of their image tokens. When a detail is lost, Claude and Gemini both say they cannot tell about half the time, but they fail differently in the rest: Gemini gives a confident wrong answer in 43% to 48% of these cases, Claude in only 5% to 9%. A check based on detail size, run before the call, misses most of the gain from tiles on Claude and Gemini, but Claude's own reply is a reliable trigger: tiling only after an unsure reply comes within 1.4 points of always tiling with 62% to 70% of the image tokens. We turn these findings into five rules for when an agent should zoom, and release the eye exam, every model answer and code at https://siddvoh.com/know-when-to-zoom.