FLUX 3: 영상·이미지·오디오를 한 모델로 학습한 멀티모달 모델
Flux 3
TL;DR Highlight
이미지·영상·오디오를 한 모델로 학습한 FLUX 3, 영상 부문 얼리 액세스 시작
Who Should Read
영상·이미지 생성 API를 서비스에 붙이려고 모델을 비교 중인 백엔드·프로덕트 개발자
Core Mechanics
- FLUX 3은 세 모달리티를 한 번에 학습했다
- 이미지·영상·오디오를 하나의 통합 아키텍처에서 함께 학습한다.
- 각 모달리티는 같은 현실을 다른 센서로 본 단면이라는 논리다.
- 영상은 오디오 포함 최대 20초를 한 번에 만든다
- 텍스트→영상, 이미지→영상, 영상→영상, 키프레임→영상을 지원한다.
- 모든 출력에 오디오가 기본 생성된다.
- 영상 선호도 비교에서 대부분 앞섰다고 한다
- 10초·720p 텍스트→영상 클립 기준 초기 평가다.
- Runway Gen-4.5 대비 77%, Luma Ray 3.2 대비 93%, Kling v3 Pro 대비 60%, Seedance 2.0·Gemini Omni Flash 대비 52% 선호됐다.
- 여러 클ip을 이어 몇 분짜리 시퀀스도 만든다
- 에이전트가 개별 클립을 멀티샷 시퀀스로 연결한다.
- 시각 레퍼런스로 캐릭터를 장면 간 일관되게 유지한다.
- 로봇 행동 예측까지 같은 백본에서 나온다
- 행동 예측을 모델에 직접 넣는 방법과 영상 백본을 미세조정하는 방법 두 가지다.
- mimic robotics와 영상-행동 모델 FLUX-mimic을 만들었다.
Community Reactions
- 오픈웨이트가 관건이라는 의견
- Flux 2 Dev Klein이 일반 하드웨어에서 쓸 수 있는 최선이라 후속 오픈웨이트가 중요하다는 의견이다.
- VRAM 요구량이 Flux 2보다 줄길 바란다는 의견도 있었다.
- 데모가 아쉽다는 반론
- 사람 예시가 거의 없고 'World Model' 용어 사용이 과하다는 지적이다.
- 20초라면서 보여준 건 점프컷뿐이라는 비판이다.
- 초기 사용 후기가 좋다는 경험
- 얼리 액세스 사용자 클립과 후기를 봤더니 홈 사용 SOTA가 될 것 같다는 경험이다.
- 클립을 실제 촬영본으로 착각했다는 반응도 있었다.
- 이미지 품질이 아직 부족하다는 의견
- 이미지 쪽은 Nano Banana, GPT-2 Image가 최고 수준이고 Flux는 그 선을 못 넘는다는 의견이다.
How to Apply
- 지금 쓰는 영상 모델과 같은 프롬프트로 비교하기
- 얼리 액세스를 신청하고 대표 프롬프트 5개를 준비한다.
- 현재 쓰는 모델과 FLUX 3 Video 결과를 나란히 놓고 오디오 싱크와 얼굴 표현을 평가한다.
- 후보 모델 선정 시 출시 단계를 표로 정리하기
- Video·Image·Action·Dev의 API/오픈웨이트 제공 여부와 단계를 적는다.
- 오픈웨이트가 필요한 요구사항은 Dev 공개 전까지 보류로 표시한다.
- 캐릭터 일관성 파이프라인을 레퍼런스 기반으로 설계하기
- 캐릭터 레퍼런스 이미지를 고정해 영상→영상 호출에 넣는 구조를 짠다.
- 클립을 이어 붙이는 단계를 별도 워크플로로 분리한다.
Try It
복사해서 바로 해보기
# Claude 또는 ChatGPT에 붙여넣기 (영상 생성 모델 비교 평가 틀)
나는 텍스트→영상 모델 {{모델A}}와 {{모델B}}를 비교하려고 한다. 용도는 {{서비스 용도}}다.
아래 기준으로 10초·720p 테스트 프롬프트 5개와 채점표를 만들어줘.
- 얼굴 표정
- 소리와 물리 사건의 일치
- 다국어 대사
- 텍스트(타이포) 렌더링
- 캐릭터 일관성
이어서 해 볼 것: 두 모델 결과를 보고 어느 쪽이 선호되는지 항목별로 표시해줘.Terminology
Flow Matching노이즈에서 데이터로 가는 길을 학습하는 생성 방식이다. 안개 낀 길을 따라 목적지까지 안내판을 세우는 것과 비슷하다.
Self-FlowBFL이 쓴 방식으로, 한 아키텍처 안에서 멀티모달 생성과 이해를 정렬한다. 원문은 FM보다 모달리티별 생성 오차가 낮다고 보여준다.
Fréchet distance생성물 분포가 실제 데이터와 얼마나 다른지 재는 지표다. 낮을수록 좋다.
오픈웨이트모델 가중치를 내려받아 직접 돌릴 수 있게 공개한 방식이다. 레시피까지는 아니지만 완성된 요리를 가져가는 셈이다.
Video-action model영상 이해를 바탕으로 로봇의 행동까지 예측하는 모델이다.
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다