토큰 너무 많이 쓰나? 단순 휴리스틱으로 싸게 하는 멀티모달 LLM 영상 어노테이션
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
TL;DR Highlight
영상을 2×8 이미지 그리드 한 장으로 줄였더니 토큰 비용 약 15%로 전체 영상 이해에 근접
Who Should Read
VLM API로 숏폼 영상을 대량 분류·라벨링하는데 토큰 비용이 부담스러운 백엔드·데이터 개발자
Core Mechanics
- 프레임을 그리드 한 장으로 합친다
- 영상에서 9장이나 16장을 뽑아 이미지 한 장(그리드)에 시간순으로 배치한다.
- 이미지 한 장은 API의 이미지당 토큰 상한이 적용돼 영상 길이와 상관없이 비용이 거의 일정하다.
- 정확도 1등이 결론을 뒤집었다
- MELD에서 정확도가 가장 높은 Text-only 설정이 Negative 계수 부호를 반대로 만들었다.
- 정확도만 보고 설정을 고르면 통계 결론이 틀릴 수 있다.
- 모달리티는 많다고 좋은 게 아니다
- 대사 중심인 MELD에서는 텍스트만 쓴 쪽이 멀티모달 설정보다 정확도가 높았다.
- 해시태그 분류인 TikTok에서는 프레임과 텍스트를 같이 써야 훨씬 좋았다.
- 샷 전환 감지는 간단하다
- 연속 프레임의 픽셀 차이와 히스토그램 차이로 장면이 크게 바뀌는 지점을 찾아 프레임을 뽑는다.
- 샷이 적은 짧은 클립에서 유리하고, 샷이 많은 영상에서는 균등 샘플링으로 충분했다.
- 사람 라벨 소량으로 편향을 보정한다
- PPI(소량의 사람 라벨로 모델 편향을 추정해 보정하는 방법)를 적용하면 신뢰구간이 유효해진다.
- 구간이 넓으면 모델 편향이 크다는 신호로 읽는다.
Evidence
- 그리드 vs 전체 영상 비용
- Gemini 100개 영상 기준, ShotT 2×8 그리드는 영상당 2,332토큰이고 전체 영상 이해는 15,774토큰으로 14.8% 수준이다.
- 정확도와 κ는 둘 다 .870 / .860으로 같았다.
- GPT-4o-mini 1 FPS 대비 비용
- TikTok 900개(평균 62.3초) 기준 3×3 그리드는 평균 36,596토큰($0.00549), 2×8 그리드는 47,665토큰($0.00715)이다.
- 1 FPS는 평균 2,275,411토큰($0.34131)으로 약 50배 비싸다.
- MELD에서 정확도와 타당성 불일치
- Text-only는 정확도 .610(κ=.398)으로 1등이었지만 Negative 계수가 β=−.43(p=.038)로 정답 β=+.27(p<.001)과 부호가 반대였다.
- PPI는 세 감정 모두에서 정답 계수에 대한 유효한 범위를 확보했다.
- TikTok 모달리티 비교
- 멀티모달 그리드 4종은 정확도 .819–.834로 Text-only .713, Frames-only .712보다 높았다.
- 원본 예측은 funnyvideos를 5.0% 대신 10.7%로 과대추정했고 PPI 보정 후 오차가 5.7%p에서 2.0%p로 줄었다.
How to Apply
- 파일럿 50개로 모달리티 비교하기
- 오늘 라벨링 대상 영상 약 50개를 텍스트만, 프레임만, 둘 다로 각각 돌려 κ를 비교하라.
- 한 모달리티가 멀티모달 κ에 가깝다면 나머지는 빼서 비용을 줄여라.
- 영상 입력을 그리드 한 장으로 바꾸기
- 프레임 여러 장을 보내는 파이프라인에서 9~16프레임을 뽑아 한 이미지에 시간순으로 합쳐 보내라.
- 3×3부터 시작해 파일럿 κ가 허용 범위인 가장 작은 그리드를 선택하라.
- 샘플링 방식은 샷 밀도로 고르기
- 짧고 샷이 적은 클립이면 샷 전환 샘플링을, 샷이 많은 긴 영상이면 균등 샘플링을 쓰라.
- 차이가 작으니 파일럿에서 둘 다 돌려 비교하라.
- 통계에 쓸 라벨은 PPI로 보정하기
- 라벨 결과로 비율이나 회귀를 낸다면 무작위 사람 라벨을 비율 추정은 약 100개, 회귀는 200개 이상 만들어라.
- 신뢰구간을 같이 보고하고 폭이 넓으면 편향 신호로 해석하라.
Try It
# Claude/ChatGPT 등 멀티모달 모델에 붙여넣기 (논문 방법의 간이 버전: 그리드 이미지 + JSON 분류 프롬프트)
You are a TikTok short-form video classifier. Given a {{K}}x{{L}} frame grid ({{N}} frames sampled in chronological order from a short vertical video, laid out left-to-right across two rows) and a transcript, choose exactly one hashtag from the provided list (DO NOT invent new hashtags). Favor visuals over transcript if they conflict. Respond ONLY with JSON: {"hashtag": "...", "confidence": 1-10, "rationale": "..."}
Hashtag options:
{{라벨 목록}}
Transcript:
{{transcript}}
(그리드 이미지를 함께 첨부하세요.)
이어서 해 볼 것: 같은 영상 50개로 transcript만 넣은 버전과 이미지만 넣은 버전도 돌려 정확도를 비교해 보세요.Terminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터
Related Resources
Original Abstract (Expand)
Vision-Language Models (VLMs) enable video annotation at scale, but costs accumulate quickly: processing a typical 60-second short-form video at one frame per second requires millions of tokens. To reduce costs, researchers rely on heuristics such as sampling a subset of frames, compressing videos into image grids, or using only a single modality. However, it remains unclear which heuristics save cost, and whether they preserve the downstream conclusions these annotations enable. To address this gap, we conduct a systematic evaluation of these heuristics using short-form videos, on two computational social science (CSS) tasks: sentiment and topic classification. We evaluate each configuration along three axes the literature typically treats separately: classification accuracy, validity of downstream inference, and per-video token cost. First, we find that accuracy and validity diverge: the highest-accuracy configuration can produce wrong conclusions. Second, modality value is not guaranteed: text alone can yield strong performance, indicating that adding modalities can add cost without adding signal. Finally, we find that cost can be decoupled from video length when annotating short-form videos: a single $2\times8$ image grid built via simple shot-transition detection approaches full-video understanding ($κ$ within~.05), at $\sim 15\%$ of the token cost. Based on these findings, we derive guidelines that can enable cost-aware VLM annotation in CSS.