Qwen 3.8 27B는 훌륭하지만 기본값이 과하게 overthinking한다

TL;DR Highlight

Qwen 3.8 27B는 로컬에서 쓸 만하지만 기본 xhigh 추론이 너무 느리다

Who Should Read

노트북이나 로컬 GPU에서 오픈 웨이트 LLM으로 코딩 에이전트를 돌려 보려는 백엔드 개발자

Core Mechanics

기본 reasoning이 xhigh라서 과하게 생각한다
- Qwen 문서상 reasoning_effort 기본값은 xhigh이고 LM Studio GGUF도 이를 유지한다.
- 저자는 소비자 하드웨어에서 쓰기 좋은 기본값이 아니라고 했다.
- LM Studio 기본 컨텍스트 8,192 토큰은 생각만으로 다 소모돼서 262,144로 올렸다.
pelican SVG는 21분, 추론 끄면 137초
- xhigh에서는 추론 토큰 22,276개로 출력 3,223토큰을 만들며 21분이 걸렸다.
- 추론을 끄면 3,715토큰 출력에 137초가 걸렸다.
- 저자는 21분 기다릴 가치는 전혀 없었다고 평가했다.
원 하나 그리라니 애니메이션 원을 그렸다
- "draw an svg of a circle" 요청에 xhigh는 몇 분간 생각해서 요청하지 않은 애니메이션 원을 만들었다.
- 저자는 처음엔 low나 추론 끔으로 시작하라고 권한다.
bounding box와 코딩 에이전트도 잘한다
- 0-1000 스케일로 요청한 pelican bounding box가 사진과 잘 맞았다.
- Pi 에이전트로 datasette 코드베이스 인증 구조 질문에 solid한 답을 냈다.
- jsonl을 markdown으로 바꾸는 파이썬 스크립트도 만들고 테스트했다.

Community Reactions

effort 값은 실제로 3단계만 동작한다는 경험
- 비교 테스트에서 none, low, xhigh 세 모드만 의미 있고 low와 medium은 거의 같았다는 의견이 있었다.
- 3090 전기료까지 고려하면 Luna high API가 더 싸다는 의견도 있었다.
생각 예산으로 overthinking을 누른다는 경험
- llama.cpp의 --thinking-budget과 --thinking-message로 생각 중간에 끊고 방향을 바꾸면 된다는 경험이 있었다.
- 생각 길이를 보다가 메시지별로 동적으로 제어할 수 있다고 한다.
none으로 두고 계획과 코드를 나눠 시킨다는 경험
- reasoning_effort를 none으로 두고 먼저 계획만 쓰게 한 뒤 코드를 쓰게 하니 합리적인 시간에 결과가 나왔다는 경험이 있었다.
너무 느려서 쓰기 힘들었다는 경험
- 듀얼 GPU에서 한 작업에 11시간이 걸렸지만 결과는 자체 호스팅 모델 중 최고였다는 경험이 있었다.
- 같은 종류 작업을 GPT 5.5는 약 20분에 끝냈다고 한다.

How to Apply

로컬 모델 reasoning_effort를 low로 내려 비교하기
- LM Studio 등에 모델을 올리기 전에 컨텍스트를 충분히 키우고 low 또는 none으로 시작하라.
- 같은 프롬프트를 xhigh와 low에서 돌려 시간과 토큰 수를 기록하라.
작업별로 추론 수준 나누기
- 단순 생성이나 질의에는 none 또는 low를 기본으로 설정하라.
- 한 번에 맞아야 하는 도구 생성 작업만 올려서 결과 차이를 확인하라.
llama.cpp에 MTP 옵션 켜서 속도 재기
- draft 모델과 --spec-type draft-mtp를 지정해 서버를 띄워라.
- 기존 서버와 같은 프롬프트로 초당 토큰을 비교하라.

Try It

복사해서 바로 해보기

# 터미널에 붙여넣기: 원문 llama.cpp MTP 실행 예시 (llama serve 명령은 원문 그대로)

llama serve \
  -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \
  -hfd ggml-org/Qwen3.8-27B-GGUF:Q4_0 \
  --spec-default \
  --spec-type draft-mtp \
  --reasoning-preserve

# 바운딩 박스 테스트 (LM Studio에 모델이 로드되어 있을 때, llm CLI)
llm -a {{이미지URL}} \
  -m lmstudio/qwen/qwen3.8-27b \
  'Return JSON bounding boxes for the pelicans in this photo, 0-1000 scale for each dimension'

# 이어서 해 볼 것: 같은 프롬프트를 reasoning low와 xhigh로 돌려 시간과 토큰 수 비교

Terminology

reasoning_effort모델이 답하기 전에 얼마나 오래 생각할지 정하는 다이얼이다. 높이면 정확해질 수 있지만 느리고 토큰을 많이 쓴다.

Multi-Token Prediction (MTP)싼 예측기가 여러 토큰을 미리 찍고 본 모델이 맞는지 한 번에 검증하는 방식이다. 받아쓰기를 먼저 해 두고 채점만 빠르게 하는 것과 비슷하다.

Q4_K_M 양자화모델 가중치를 4비트 근처로 줄여 파일 크기와 메모리를 줄인 방식이다. 사진을 압축해 용량을 줄이는 것과 비슷하다.

dense 모델모든 파라미터를 매번 쓰는 모델이다. Mixture-of-Experts와 달리 메모리 대역폭을 많이 먹는다.

bounding box이미지 속 물체를 감싸는 사각형 좌표다. 사진 위에 네모 표시를 그리는 용도로 쓴다.