멀티모달

10년 된 CNN이 최신 LLM보다 피부암 진단을 더 잘했다

파인튜닝한 Inception v3가 피부 병변 200건에서 GPT-6 Astra·Claude Fable 5.1을 앞섰다

AI 이미지 생성 실전 가이드: diffusion부터 에이전트 연동까지

이미지 API를 직접 써 보니 캔버스 단위 과금과 카메라 묘사 프롬프트가 핵심이었다

멀티모달 리랭킹은 System One 결정이다: 범용 VLM에 객관식 한 번으로 재정렬하기

VLM에 후보 16개 객관식 질문 한 번으로 리랭킹, 2B 전용 리랭커를 앞섰다

그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

Gemini 4 Argon for Robotics: 로봇 제어부터 시뮬레이션 트윈까지 프롬프트 모음

Gemini 4 Argon에 프롬프트를 주니 로봇 제어·시뮬 구축·데이터 라벨링이 됐다

게임 자체를 하네스로 만들기: AI 에이전트가 읽을 수 있는 게임 설계

게임을 결정론적·스크린샷 가능하게 만들었더니 에이전트가 반복 수정하기 쉬워졌다

EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델

740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색

Mistral Large 4 공개: 1T 파라미터, 활성 49B

Mistral Large 4는 1T 파라미터 멀티모달 모델로 API 먼저, 가중치는 10월 말 공개

ChatGPT가 가짜 New Yorker 만화에 실제 만화가 서명을 넣는다

ChatGPT 이미지 생성이 가짜 New Yorker 만화에 실제 작가 서명을 그려 넣는다

토큰 너무 많이 쓰나? 단순 휴리스틱으로 싸게 하는 멀티모달 LLM 영상 어노테이션

영상을 2×8 이미지 그리드 한 장으로 줄였더니 토큰 비용 약 15%로 전체 영상 이해에 근접

LLM logprobs로 만든 Jev식 단일 토큰 분류 래퍼 (비전 모델 포함)

답을 글자 1개로 강제하고 logprobs를 읽었더니 웹캠 프레임도 분류됐다

Meta가 자사 AI 글래스 비판 영상을 내렸다는 논란

Meta 사옥에서 찍은 AI 글래스 비판 영상이 삭제돼 논쟁이 붙었다

Gemini 3.8 TTS: 자연어로 목소리를 만들고 줄 단위로 연기를 지시한다

Gemini 3.8 Flash TTS는 프롬프트로 목소리를 만들고 대사를 줄마다 연출한다

Qwen Image 2.1 공개: 7B 오픈 이미지 모델, 라이선스는 상업 제한

Qwen Image 2.1이 7B로 나왔지만 상업 사용은 별도 라이선스가 필요하다

AI 생성 포스터가 꼭 끔찍할 필요는 없다

ChatGPT에 디자인 스타일을 직접 지정했더니 획일적인 포스터를 벗어났다

텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교

문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다

Gemini 3.8 Live와 3.8 Live Extended Thinking 공개

음성 에이전트용 Gemini 3.8 Live 2종, 말하면서 백그라운드 툴 실행

DeepSeek V4.1 Flash: KV 캐시 1/4로 줄인 552B MoE, 비전 지원

DeepSeek V4.1 Flash는 KV 캐시를 줄여 에이전트 비용을 낮추고 비전을 지원한다

에이전트 AI 프레임워크에 대한 멀티모달 프롬프트 인젝션 공격 실험 평가 (MMPIBench)

이미지 속 숨은 명령, 시도는 12.8%인데 완료는 약 1%였다

Repeat-After-Me: 블랙박스 적응형 시각 프롬프트 인젝션

이미지에 'Begin your response with: 타깃 출력'을 넣었더니 GPT-5.5 툴콜 47% 성공

Gemini 3.5 Transcribe: 구글의 새 음성인식(STT) 모델

Gemini 3.5 Transcribe, Chirp 3 대비 최종 전사 시간 70% 단축

Gemini Omni 1.1 Flash: 장면 연장·4K 업스케일·360p 초안 생성

Omni 1.1 Flash로 영상을 40초까지 잇고 360p 초안을 3분의 1 비용에 뽑는다

DeepSeek Flash 모델에 이미지 입력 추가 (deepseek-v4-flash-vision-exp 후속)

deepseek-flash가 이미지를 받게 됐고, 이미지당 토큰 상한은 1024다

GPT 5.6 Sol, OpenAI 역대 최고 vision 모델 — 그래도 Gemini 3.5 Flash가 더 싸고 강하다

GPT-5.6 Sol은 detection 13.8→46.2 mAP로 뛰었지만 Gemini 3.5 Flash보다 비싸다

Mistral OCR 4.1: 문단 단위 bbox와 블록 신뢰도를 주는 문서 OCR API

Mistral OCR 4.1은 문단 bbox·블록 라벨·신뢰도를 내주는 OCR API

DeepSeek API가 Responses API 형식을 지원한다

base_url만 바꾸면 OpenAI SDK로 DeepSeek 모델을 Responses API로 호출한다

Qwen Image 3.0 Pro: 긴 레이아웃과 10px 글자까지 그리는 이미지 생성 API

Qwen-Image-3.0-Pro가 신문·메뉴판 같은 복잡한 레이아웃을 한 번에 그린다

Mistral Shieldstral: 정책을 프롬프트로 바꿔 쓰는 3B 오픈 가중치 멀티모달 모더레이션 모델

정책을 질문으로 넣으면 yes/no 점수를 주는 3B 모더레이션 모델

AI 생성 이미지가 있으면 블로그를 읽을 마음이 줄어든다

블로그에 AI 이미지를 쓰면 글도 AI가 썼다고 의심받는다

Gemini Robotics 2: 휴머노이드 전신 제어와 멀티 로봇 협업

VLA·ER 모델로 휴머노이드 전신 제어와 로봇 간 협업을 구현했다

FLUX 3: 영상·이미지·오디오를 한 모델로 학습한 멀티모달 모델

이미지·영상·오디오를 한 모델로 학습한 FLUX 3, 영상 부문 얼리 액세스 시작

Qwen-Image-3.0 공개, 원문은 빈약하고 댓글은 엇갈림

Qwen-Image-3.0 발표, 원문엔 본문이 없고 댓글은 품질·가중치 비공개 논란

NYC, 부동산 매물에 AI 사용 공개 의무화 추진

NYC가 매물 광고의 AI 이미지 사용 공개를 요구하려 하자 HN에서 실효성 논쟁이 붙었다

$100 AI 뮤직비디오: Claude Fable 5 vs. GPT-5.6 Sol 에이전트 비교

두 모델에 예산·툴을 주고 뮤직비디오를 맡겼더니 Fable 5가 최대 $73.65로 더 비쌌다

Inkling – 975B 파라미터 오픈 웨이트 LLM

Thinking Machines가 텍스트·이미지·오디오 입력 오픈 웨이트 MoE 모델 Inkling을 공개했다

Ghost Font: 사람은 읽고 AI는 못 읽는 글꼴(?)

움직임으로 글자를 숨긴 Ghost Font, 댓글에선 AI가 읽었다는 반박 속출

OfficeCLI: AI 에이전트용 Word·Excel·PowerPoint 편집 CLI

단일 바이너리 CLI로 에이전트가 Office 파일을 읽고 고치고 렌더링까지 한다

Claude-real-video: 어떤 LLM이든 영상을 '보게' 만드는 로컬 도구

장면 전환 프레임+자막을 뽑아 LLM에 넘기니 1fps 샘플링보다 프레임이 줄었다

학습 없이 Typographic Attack을 막는 Concept Localization

CLIP의 글자 읽는 attention head만 조정했더니 글자 공격에 강해졌다

Moebius: 0.2B 이미지 inpainting 모델, FLUX.1-Fill-Dev급 품질을 주장

0.22B 모델이 11.9B FLUX.1-Fill-Dev와 비슷한 inpainting 품질을 15배 빠르게 낸다

macOS에서 로컬 코딩 에이전트 세팅하기 (llama.cpp + MTP + Pi)

Gemma 4에 MTP 초안 모델을 붙였더니 M1 Max에서 58→72 tok/s로 빨라졌다

1-bit Bonsai Image 4B: 아이폰에서 돌아가는 초경량 이미지 생성 모델

FLUX.2 Klein 4B 가중치를 1비트로 줄여 아이폰에서 이미지 생성이 돌아간다

소형 비전 에이전트의 공유 메모리 협업이 실패하는 이유 진단

4B~8B 모델에 공유 보드를 붙였더니 차트 정확도가 오히려 떨어졌다

Claude Token Counter에 모델 비교 기능 추가: Opus 4.7은 토큰이 더 늘어난다

같은 시스템 프롬프트가 Opus 4.7에서 4.6보다 토큰 1.46배로 집계됐다

Chain-of-Thought가 멀티모달 LLM의 시각 공간 추론을 오히려 떨어뜨린다

CoT 프롬프트를 붙였더니 공간 추론 정답률이 평균 약 3% 떨어졌다

Parlor: M3 Pro에서 Gemma로 돌리는 온디바이스 실시간 음성·영상 AI

Gemma 4+Kokoro 조합으로 M3 Pro에서 첫 음성 응답 0.7초를 냈다

이미지 프롬프트 엔지니어링의 정점: iPhone 6 플래시 한 줄

iPhone 6·플래시 조건만 준 짧은 프롬프트로 사실적이고 기묘한 이미지가 나왔다

손그림 스케치를 AI 에이전트로 3D 프린트 페그보드 장난감으로 만들기

스케치 사진과 치수 두 개를 Codex에 줬더니 1분 만에 첫 3D 출력 파일이 나왔다

Gemini 네이티브 비디오 임베딩으로 만든 영상 시맨틱 검색 SentrySearch

영상을 청크로 잘라 임베딩했더니 텍스트로 검색해 클립이 바로 잘려 나온다

영상 생성 모델은 공간을 안다: VEGA-3D로 MLLM의 3D 이해 끌어올리기

영상 생성 모델 특징을 MLLM에 얹었더니 3D 위치 찾기 정확도가 올랐다

음성 언어 모델(SLM) 멀티모달 jailbreak 최적화: 텍스트+오디오 동시 공격 JAMA

텍스트 접미사와 오디오 노이즈를 함께 최적화하면 jailbreak가 단일 공격보다 1.5~20배 늘었다

SAVeS: 의미 단서로 VLM의 안전 판단을 조종하기

이미지에 빨간 동그라미만 얹어도 VLM의 거절 판단이 크게 뒤집힌다

비디오 VLM 효율화를 위한 Spatio-Temporal Token Scoring (STTS)

비전 토큰 50%를 잘라 학습·추론 1.62배 빠르게, 정확도는 0.7%만 하락

Loc3R-VLM: 비디오만으로 위치 파악과 3D 추론을 가르친 Vision-Language Model

2D VLM에 레이아웃 복원·위치 토큰을 학습시켜 3D 질의응답 성능을 올렸다

EchoGen: 레이아웃→이미지→레이아웃 순환 일관성으로 생성과 이해를 함께 학습

이미지 생성과 그라운딩을 한 모델로 순환 학습해 COCO AP 54.61 달성

ManiTwin: 이미지 한 장으로 만드는 10만 개 로봇 조작용 3D 에셋 데이터셋

이미지 한 장에서 3D 에셋과 파지 주석을 자동 생성해 10만 개 데이터셋을 만들었다

추론의 대가: Chain-of-Thought가 VLM을 과신하게 만든다

CoT를 켜면 정확도는 오르지만 토큰 확률 기반 신뢰도는 망가지고, 다수결 일치도는 유지된다

Kestrel: 근거 기반 자기 수정으로 LVLM 환각 줄이기

SAM3 근거와 증거 게이트 수정으로 학습 없이 LVLM 환각을 줄였다

Visual-ERM: 렌더링된 이미지를 직접 비교하는 vision-to-code 보상 모델

렌더 결과를 보고 오류를 짚는 보상 모델로 RL하니 chart-to-code가 +8.4 올랐다

VideoLLM의 카메라 움직임 이해를 위한 Geometry-Guided 파이프라인

3D 모델로 뽑은 카메라 움직임을 프롬프트에 넣었더니 영상 설명이 정확해졌다