ShapeLearn Qwen 3.8 27B: 13.1GB VRAM에 BF16의 99.63% 품질
Shapelearn Qwen 3.8 27B (13.1 GB VRAM)
TL;DR Highlight
Qwen 3.8 27B를 양자화했더니 13.1GB로 BF16 대비 99.63% 점수가 나왔다
Who Should Read
로컬 GPU(16~24GB)에서 27B급 모델을 돌리며 어떤 양자화 모델(GGUF)을 쓸지 고민하는 개발자
Core Mechanics
- GPU-5가 기본 추천
- GPU-5(IQ4_XS, 3.84bpw, 13.1GB)는 BF16 대비 종합 벤치마크 점수 99.63%다.
- RTX Pro 6000에서 90.4 tok/s, RTX 5090에서 93.7 tok/s가 나왔다.
- 메모리가 모자라면 GPU-4
- GPU-4(IQ3_S)는 BF16 대비 98.72%이고 크기는 11.0GB다.
- GPU-5보다 빠르고 컨텍스트 여유도 더 남는다.
- ShapeLearn 5종이 전부 프론티어
- 여기서 프론티어는 더 빠르면서 더 정확한 모델이 없다는 뜻이다.
- 6개 GPU 비교 모두에서 5종이 프론티어에 올랐다.
- KLD 순위가 실제 점수와 어긋났다
- KLD는 양자화 모델의 토큰 확률 분포가 BF16과 얼마나 다른지 재는 값이다.
- Unsloth UD-IQ3_S는 Lite-1보다 KLD가 약 20% 낮았지만(0.028759 대 0.035875) 종합 점수는 95.55%로 Lite-1의 97.33%보다 낮았다.
- Speculative Decoding으로 더 빨라진다
- 작은 초안 모델이 토큰을 미리 추측하는 방식(speculative decoding)이다.
- 전체 라인업에서 DFlash2는 기본 대비 1.34~2.10배, MTP는 1.28~1.66배였다.
Community Reactions
- AMD 7900XTX에서 DFlash2가 느렸다는 경험
- Vulkan을 쓰는 AMD GPU에서 Unsloth 모델보다 빠르지 않았다는 후기다.
- 7900XTX에서 DFlash2 초안 모델로는 약 30 t/s, 일반 MTP 모델로는 약 60 t/s가 나왔다고 한다.
- DFlash2 답이 틀렸다는 경험
- 같은 프롬프트로 물었을 때 DFlash2 초안을 쓰면 오답이 나왔다는 후기다.
- MTP로는 정답이 나왔다고 한다.
- Strix Halo에서도 MTP가 쓸 만했다는 경험
- Strix Halo에서 GPU-5와 MTP로 prefill 600, 생성 30 tok/s가 나와 쓸 만했다는 후기다.
- DFlash2는 생성 10 tok/s 미만으로 아주 느렸다고 한다.
- 그래프가 모델 선택에 도움됐다는 의견
- VRAM에 맞는 더 빠른 양자화를 고르는 데 큰 도움이 됐다는 반응이다.
How to Apply
- llama.cpp로 GPU-5를 MTP로 먼저 띄우기
- 오늘 VRAM 24GB급이면 본문 quick start 명령으로 GPU-5를 MTP 켜고 실행하라.
- 이미지 입력까지 필요하면 --mmproj-auto를 그대로 둬라.
- VRAM이 모자라면 GPU-4로 바꾸기
- 필요한 컨텍스트까지 합쳐 13.1GB 모델이 안 들어가면 태그를 IQ3_S-3.23bpw로 바꿔라.
- 같은 프롬프트로 속도와 답변 품질을 GPU-5와 비교하라.
- DFlash2는 내 하드웨어에서 따로 측정하기
- 텍스트 전용이고 메모리 여유가 있으면 DFlash2를 켜고 MTP와 tok/s를 비교하라.
- 댓글에 AMD(Vulkan)에서 느렸다는 보고가 있으니 반드시 내 환경에서 재라.
Try It
# 셸에서 실행 (llama.cpp b10658 이상 필요, DFlash2 사용 시)
llama-server \
-hf byteshape/Qwen3.8-27B-GGUF:Qwen3.8-27B-IQ4_XS-3.84bpw \
--mmproj-auto \
--spec-type draft-mtp --spec-draft-n-max 3
# 텍스트 전용 최고 속도를 원할 때 (DFlash2)
llama-server \
-hf byteshape/Qwen3.8-27B-GGUF:Qwen3.8-27B-IQ4_XS-3.84bpw \
-hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \
--spec-type draft-dflash --spec-draft-n-max 7 \
--no-mmproj
# 이어서 해 볼 것: 같은 프롬프트로 두 명령의 tok/s와 답변을 비교해 보기Terminology
관련 논문
Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상
Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준
Timestral: Mistral의 시계열 파운데이션 모델
209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다
DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석
DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30
LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나
자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다
DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델
DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델
DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델
DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓
Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터
GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터