Muse Glimmer: 로컬 에이전트용 30B 오픈 웨이트 모델

TL;DR Highlight

30B 모델을 4비트로 줄이고 DFlash를 붙여 24GB GPU에서 에이전트를 돌린다

Who Should Read

클라우드 API 없이 로컬에서 function calling과 코딩 에이전트를 돌려보고 싶은 백엔드 개발자

Core Mechanics

30B인데 소비자 GPU 한 장에 올라간다
- Meta가 Apache 2.0 라이선스로 가중치를 공개했다.
- 로컬 에이전트, function calling, 로컬 코딩, LLM-as-a-judge 평가용으로 최적화했다.
큰 모델을 증류해서 만들었다
- 사전학습은 Muse Spark의 출력을 logit distillation(교사 모델의 확률 분포를 따라 배우기)으로 학습했다.
- 사후학습은 SFT, on-policy distillation, 강화학습을 섞었다.
에이전트 기능을 폭넓게 학습했다
- 정확한 스키마로 도구를 호출하고, 호출이 실패하면 멈추지 않고 원인을 진단해 재시도하도록 학습했다.
- 이미지·텍스트 입력, 100개 이상 언어, 추론 강도 조절을 지원한다.
4비트 양자화로 55GB가 20GB 아래로 줄었다
- 풀 정밀도에서는 55GB 넘게 필요한 모델을 약 4비트로 압축해 언어 모델 부분이 20GB 미만이 됐다.
- KV cache, 인식 인코더, 드래프터까지 24GB 또는 32GB 안에 들어간다.
- 에이전트 작업에서 성능 저하는 최소이거나 없다고 검증했다.
DFlash 드래프터로 생성이 빨라진다
- 작은 드래프터 모델이 토큰 묶음을 한 번에 제안하고 메인 모델이 병렬로 검증한다.

Community Reactions

Unsloth GGUF가 이미 올라왔다는 정보
- 양자화 버전은 출시 후 몇 주간 자주 바뀌니 며칠 뒤 다시 확인하라는 의견이다.
- 비공개 테스트를 가진 지인들이 Qwen3.6 27B보다 인상적이라고 한다는 전언이다.
- 2비트도 쓸 만하다는 초기 보고가 있지만 조심해서 봐야 한다는 의견이다.
Mac mini 32GB에서 돌려 봤다는 경험
- Ollama와 pi 코딩 하니스로 돌리니 결과는 좋았지만 느렸다는 경험이다.
- 컨텍스트 크기를 늘려야 한다는 조언도 있다.
7900XT 20GB에서 돌려 봤다는 경험
- Unsloth UD-Q4_K_XL이 VRAM 19GB에서 간신히 돌았다.
- 생성은 약 36 tok/s였고, DFlash를 켜자 약 60 tok/s까지 올랐다는 경험이다.
반대 경험과 한계 지적
- 120GB RAM에서 풀 버전으로 결함 코드 수정을 시켰더니 같은 곳을 맴돌며 헤맸다는 경험이다.
- 비교 대상이 최신 Qwen이 아닌 한 세대 전 모델이라는 지적과 Qwen3.8이 앞설 것이라는 의견이 있다.
- 24GB GPU와 32~64GB 메모리 비용이 부담이라는 의견도 있다.

How to Apply

Ollama나 LM Studio로 로컬에서 띄워 보기
- 오늘 Unsloth GGUF나 LM Studio 모델 페이지에서 양자화 버전을 받아 실행하라.
- 컨텍스트 크기를 늘리고 기존 에이전트 프롬프트 한두 개를 돌려라.
기존 function calling 테스트셋으로 비교하기
- 지금 쓰는 Qwen이나 Gemma와 같은 도구 스키마, 같은 질문으로 성공률을 재라.
- 도구가 실패했을 때 재시도하는 케이스를 따로 넣어 확인하라.
LLM-as-a-judge 평가를 로컬로 옮겨 보기
- 평가 호출 비용이 큰 파이프라인에서 샘플 100건을 로컬 모델 판정과 비교하라.
- 기존 판정과 일치율을 기록해 전환 여부를 정하라.
DFlash 드래프터 켜고 속도 재기
- llama.cpp 지원이 머지된 뒤 드래프터 유무로 tok/s를 각각 재라.
- VRAM이 빠듯하면 이미지가 필요 없는 작업에서 멀티모달 프로젝터를 꺼라.

Try It

복사해서 바로 해보기

# Claude/ChatGPT에 붙여넣기: 로컬 모델 도입 전 에이전트 평가 케이스 설계 (Glimmer 방식의 간이 점검표)

나는 로컬 30B 모델로 도구 호출 에이전트를 돌릴 계획이다.
내 도구 목록: {{도구 JSON 스키마}}
내 대표 작업: {{작업 설명}}

아래 4가지 범주로 테스트 케이스를 각 5개씩 만들어라.
1. 정확한 스키마로 도구 호출하기
2. 여러 단계에 걸친 계획 유지
3. 도구가 오류나 예상 밖 결과를 반환했을 때 진단 후 재시도
4. 추론 강도를 낮췄을 때와 높였을 때 품질 차이

각 케이스에 입력, 기대 도구 호출, 통과 기준을 표로 써라.

이어서 해 볼 것: 만든 케이스를 현재 쓰는 모델과 로컬 모델에 똑같이 돌려 통과율을 비교해 보라.

Terminology

증류(distillation)큰 모델이 선생님이 되어 작은 모델에게 답과 확률 분포를 가르치는 방식이다. 족보를 보고 공부하는 것과 비슷하다.

양자화(quantization)가중치 숫자의 정밀도를 낮춰 용량을 줄이는 기법이다. 고화질 사진을 JPEG로 압축하는 것과 비슷하다.

Speculative decoding작은 모델이 먼저 여러 토큰을 초안으로 쓰고 큰 모델이 한꺼번에 검수하는 방식이다. 인턴이 초안을 쓰고 선배가 훑어 승인하는 것과 같다.

KV cache모델이 앞서 읽은 내용을 기억해 두는 작업 메모리다. 대화가 길수록 커진다.

Scaffold모델 주위에서 도구 호출과 루프를 관리하는 에이전트 틀이다. 원문은 OpenClaw를 호환 사례로 든다.