Qwen 3.8 27B: 로컬로 돌리는 dense 모델, 생각은 길고 VRAM은 많이 먹는다

TL;DR Highlight

Qwen 3.8 27B FP8 공개, 댓글에선 성능 호평과 과한 thinking·VRAM 불만이 갈림

Who Should Read

로컬 GPU(24~32GB급)나 맥북에서 코딩 에이전트용 오픈 모델을 고르려는 백엔드 개발자

Core Mechanics

Hugging Face에 FP8 모델 공개
- Qwen/Qwen3.8-27B-FP8이며 라이선스는 apache-2.0이다.
- 이미지와 텍스트를 함께 받는 image-text-to-text 모델이다.
- 안전텐서 기준 파라미터는 약 277.8억 개, 파일 크기는 약 30.9GB다.
reasoning effort를 3단계로 고른다
- 채팅 템플릿에서 xhigh(기본값), medium, low를 지원한다.
- 그 외 값을 넣으면 템플릿이 오류를 낸다.
- enable_thinking을 false로 주면 thinking을 끌 수 있다.
툴 호출은 XML 형식으로 한다
- 함수 호출은 tool_call 안에 function 블록을 중첩한 형식이어야 한다.
- 필수 파라미터는 반드시 넣어야 한다.
- 툴 응답은 tool_response 태그로 감싸 user 턴에 들어간다.
이전 thinking을 대화에 남길 수 있다
- preserve_thinking 옵션이 기본으로 켜져 있어 지난 턴의 reasoning_content가 유지된다.
- 이미지·영상 입력도 템플릿에서 처리하지만 system 메시지에는 넣을 수 없다.

Community Reactions

32GB급 GPU면 쓸 만하지만 메모리를 많이 먹는다는 경험
- 비공개 벤치마크를 Gemma 4 다음으로 두 번째로 풀었지만 토큰은 5배, 시간은 12분 30초(MTP 켠 상태)였다고 한다.
- 32K 컨텍스트가 VRAM 2.5GB를 차지해 128k도 못 넣었다고 한다.
thinking이 지나치게 길다는 반론
- Gemma4:26b-a3b는 thinking 토큰 1/10로 비슷한 답을 낸다는 의견이 있었다.
- WordPress 플러그인 테스트에서 xhigh는 과하게 고민해 코드가 지저분했고 low가 오히려 깔끔했다는 경험이 있었다.
- medium에서는 이전 3.6처럼 wait/actually 루프가 나왔다고 한다.
M5 Max 맥북에서 로컬 코딩에 쓸 만했다는 경험
- 17GB GGUF로 펠리컨 SVG를 만드는 데 21분, reasoning 22,276토큰이 들었다고 한다.
- 다른 사용자는 M5 Max 48GB에서 절전 15 tok/s, 성능 모드 30 tok/s로 OpenCode 코딩에 쓸 만했다고 했다.
양자화 파일과 템플릿에 따라 품질이 갈린다는 경험
- unsloth Q8_K_XL은 think에서 루프에 빠졌고 bartowski 버전은 괜찮았다는 경험이 있었다.
- 채팅 템플릿이 엉망이라 froggeric의 수정 템플릿을 쓰라는 의견이 있었다.
DeepSWE에서 Opus 4.7 Max를 앞섰다는 언급

How to Apply

reasoning effort를 low로 먼저 돌려 보기
- 평소 쓰는 코딩 프롬프트 하나를 low와 xhigh로 각각 돌려 결과와 소요 시간을 비교하라.
- 아래 코드의 reasoning_effort 값만 바꿔 호출하라.
에이전트용 모델에 thinking 예산 가드 두기
- 루프를 막으려면 effort를 low나 medium으로 고정하고 최대 토큰 제한을 걸어라.
- 과도한 thinking을 끊는 가드 프록시를 앞단에 두는 방법도 있다.
VRAM 기준으로 후보 모델 비교하기
- 같은 컨텍스트 길이에서 Qwen 3.8 27B와 Gemma 4 등을 돌려 VRAM 사용량과 tok/s를 직접 재라.
- 긴 컨텍스트가 필요한 작업이면 KV cache 양자화가 정답률을 해치는지도 확인하라.
양자화 파일 두 곳 이상에서 받아 비교하기
- 루프가 생기면 다른 배포처의 GGUF로 바꿔 보라.
- 툴 호출이 깨지면 수정된 채팅 템플릿을 적용하라.

Try It

복사해서 바로 해보기

# OpenAI 호환 서버(vLLM, llama.cpp 등)에 Qwen3.8-27B를 띄운 뒤 파이썬에서 실행 (pip install openai)

from openai import OpenAI
import time

c = OpenAI(base_url="http://localhost:8000/v1", api_key="x")
PROMPT = "{{질문}}"

for effort in ["low", "medium", "xhigh"]:
    t = time.time()
    r = c.chat.completions.create(
        model="Qwen/Qwen3.8-27B-FP8",
        messages=[{"role": "user", "content": PROMPT}],
        extra_body={"chat_template_kwargs": {"reasoning_effort": effort}},
    )
    print(effort, round(time.time() - t, 1), "s", r.usage.completion_tokens, "tokens")

# 이어서 해 볼 것: 같은 질문으로 effort별 답변 품질과 토큰 수를 표로 비교해 보기

Terminology

FP8숫자를 8비트로 줄여 저장하는 방식이다. 짐을 압축 포장해 파일 크기와 메모리를 줄이는 것과 비슷하다.

MTPMulti-Token Prediction이다. 다음 토큰을 여러 개 미리 짐작해 속도를 올리는 기법으로, 댓글에서 llama.cpp 옵션으로 쓰였다.

KV cache이전 토큰 계산 결과를 저장해 두는 메모리다. 컨텍스트가 길수록 VRAM을 많이 차지한다.

dense 모델모든 파라미터를 매번 쓰는 모델이다. MoE처럼 일부 전문가만 깨우는 방식과 반대라 메모리와 연산이 더 든다.

GGUFllama.cpp 등 로컬 실행용 양자화 모델 파일 형식이다.