DiffusionGemma: 텍스트를 블록 단위로 한 번에 생성해 최대 4배 빠른 오픈 모델
DiffusionGemma: 4x Faster Text Generation
TL;DR Highlight
토큰을 하나씩 대신 256개씩 동시에 생성해 로컬 GPU에서 최대 4배 빠르다
Who Should Read
로컬 GPU에서 인라인 편집·빠른 반복 같은 저지연 LLM 기능을 만들려는 백엔드·앱 개발자
Core Mechanics
- 토큰을 한 줄씩 안 찍고 256개를 한꺼번에 쓴다
- DiffusionGemma는 26B MoE(전문가 혼합) 오픈 모델이고 Apache 2.0 라이선스다.
- 기존 autoregressive(왼쪽부터 토큰 하나씩 예측) LLM과 달리 텍스트 블록 전체를 동시에 생성한다.
- 속도는 H100에서 1000+ tok/s다
- 전용 GPU에서 최대 4배 빠른 토큰 출력이라고 원문이 밝힌다.
- 단일 NVIDIA H100에서 초당 1000+ 토큰, GeForce RTX 5090에서 700+ 토큰이다.
- 로컬·저동시성에서만 빠르다
- 로컬 단일 사용자 추론은 GPU가 다음 토큰을 기다리느라 놀기 때문에 병렬 생성이 이득이다.
- 요청이 많은 클라우드 서빙에서는 이득이 줄고 서빙 비용이 더 들 수 있다고 한다.
- Apple Silicon 같은 통합 메모리 구조에서는 같은 가속이 안 나올 수 있다.
- 품질은 일반 Gemma 4보다 낮다
- 속도와 병렬 레이아웃 생성을 우선해서 전체 출력 품질이 표준 Gemma 4보다 낮다.
- 최고 품질이 필요하면 표준 Gemma 4를 쓰라고 권한다.
- 양방향 어텐션이라 편집·채우기에 맞다
- 256개 토큰이 서로를 모두 참조하므로 인라인 편집, 코드 infilling(중간 채우기), 비선형 구조에 유리하다.
- 출력 블록 전체를 보면서 실수를 스스로 고친다.
- 노이즈에서 시작해 여러 번 다듬는다
- 랜덤 placeholder 토큰 캔버스에서 시작한다.
- 여러 번 패스하며 맞는 토큰을 고정하고 나머지를 다듬는다.
- 메모리 18GB 안에 들어간다
- 26B 중 추론 때 3.8B 파라미터만 활성화된다.
- 양자화하면 고급 소비자 GPU의 18GB VRAM에 들어간다.
Community Reactions
- 빠른 diffusion 모델이 페어 프로그래밍 느낌을 줬다는 경험
- Mercury(diffusion 모델)를 OpenCode에서 써 봤더니 똑똑해서가 아니라 엄청 빨라서 좋았다는 경험이다.
- 프롬프트 넣고 기다리며 기대하는 슬롯머신 느낌이 줄고 작은 모델도 더 쓰게 됐다고 한다.
- 엣지 기기의 메모리 대역폭 병목을 푼다는 의견
- 소비자용 GDDR/LPDDR은 HBM보다 대역폭이 낮고 요청이 직렬이라 배치로 가중치를 공유하기 어렵다는 설명이다.
- 토큰을 병렬로 계산하면 이 병목이 풀린다는 의견이다.
- 3090 Ti에서는 광고된 속도가 안 나왔다는 경험
- Q4 양자화로 패치된 llama.cpp에서 돌려 봤더니 광고 속도에 한참 못 미쳤다는 경험이다.
- 답변이 채워지는 모습은 재미있었고 SVG 펠리컨 테스트 결과는 단순하지만 요구에 맞았다고 한다.
- 로컬 모델은 품질이 아쉬워 속도와 바꾸기 어렵다는 반론
- 가장 싼 API보다도 로컬 모델이 눈에 띄게 나쁜데 품질을 조금도 포기하고 싶지 않다는 의견이다.
- 실제 프로덕션 용도가 궁금하다고 한다.
- 짧은 답에는 오히려 느릴 수 있다는 의문
- 답이 한 단어여도 256토큰 블록을 통째로 처리해야 하니 첫 토큰 지연 측면에서 불리하지 않냐는 질문이다.
- llama.cpp 포크가 필요하다는 정보
- Unsloth가 HF에 모델을 올렸지만 현재는 llama.cpp 포크가 있어야 돌린다는 정보다.
How to Apply
- HF 가중치를 받아 Transformers로 로컬 속도 재 보기
- 24GB급 GPU가 있으면 Hugging Face에서 가중치를 받아 Transformers로 돌린다.
- 같은 프롬프트로 표준 Gemma 4와 tok/s·품질을 나란히 비교한다.
- 인라인 편집·코드 채우기 기능에 후보로 넣기
- 에디터 자동 수정, 코드 infilling, 짧은 반복 수정 같은 지연 민감 기능을 골라 시범 적용한다.
- 품질이 낮으니 최종 결과가 아닌 초안·제안 단계에 쓴다.
- 고동시성 서버는 기존 모델 유지하기
- 요청이 많은 클라우드 서빙에는 표준 autoregressive 모델을 그대로 둔다.
- Apple Silicon 환경은 가속이 안 나올 수 있으니 먼저 측정한다.
- 특정 작업은 Unsloth·NeMo로 파인튜닝해 보기
- 정형 출력처럼 범위가 좁은 작업이면 Unsloth나 NVIDIA NeMo 튜토리얼로 파인튜닝한다.
- 원문은 스도쿠 파인튜닝을 예시로 든다.
Try It
# Claude나 ChatGPT에 붙여넣기 (DiffusionGemma 도입 여부를 판단하는 체크리스트용 프롬프트)
우리 서비스에 로컬 diffusion 텍스트 모델(DiffusionGemma: 26B MoE, 256토큰 병렬 생성, 표준 Gemma 4보다 품질 낮음, 저동시성 로컬에서만 빠름)을 도입할지 판단해줘.
[우리 기능]
{{기능 설명}}
[실행 환경]
{{GPU 종류, 동시 요청 수}}
[품질 요구]
{{예: 초안이면 충분 / 최종 결과물}}
다음을 표로 정리해줘:
1. 이 기능이 저지연·저동시성인가
2. 인라인 편집·infilling처럼 양방향 문맥이 필요한가
3. 품질 저하를 감수할 수 있는가
4. 도입 권고(예/아니오)와 이유 3줄
5. 벤치마크할 때 측정할 지표 3개Terminology
관련 논문
DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개
DeepSeek가 프로덕션 추론 엔진 DeepInfer를 Apache-2.0으로 공개했다
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응
DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓