Redis 창시자의 로컬 LLM 엔진 ds4(DwarfStar 4)

Who Should Read

코딩 에이전트를 API 비용 없이 내 맥이나 GPU 박스에서 돌려보고 싶은 백엔드 개발자

Core Mechanics

• ds4는 모델 전용 C 엔진이다
  • 아무 GGUF나 돌리는 범용 러너가 아니라 지원하는 모델 구조만 끝까지 검증한다.
  • 지원 대상은 DeepSeek V4/V4.1 Flash, GLM 5.x, Qwen3.8 Flash Next다.
• expert만 2비트로 줄였다
  • 284B 파라미터 MoE(요청마다 일부 expert만 쓰는 구조)인 DeepSeek V4 Flash를 로컬에 올리려고 비대칭 양자화를 쓴다.
  • 라우팅되는 expert만 압축하고 핵심 경로는 정밀도를 유지한다.
• KV 캐시를 디스크에 저장한다
  • 프롬프트 prefix의 SHA1 해시를 키로 SSD에 저장해 서버를 재시작해도 다시 계산하지 않는다.
  • 긴 컨텍스트의 prefill(입력 처리) 시간을 아끼는 용도다.
• 엔진 하나에 인터페이스 셋이다
  • ./ds4는 채팅 CLI, ./ds4-server는 로컬 API, ./ds4-agent는 코딩 에이전트다.
  • 서버는 /v1/chat/completions, /v1/messages, /v1/responses를 제공해 OpenCode·Claude Code·Codex CLI에 base URL로 연결된다.
• 하드웨어는 맥 64GB 이상부터다
  • 지원 대상은 Apple Silicon 64GB+, DGX Spark 또는 CUDA 리눅스, AMD Strix Halo(ROCm)다.

Community Reactions

• 컨텍스트 확장 시도 경험
  • Qwen 3.8 flash next에서 fused TQ를 구현해 128GB M5 Max에 1M 컨텍스트를 올리는 PR을 냈다는 경험담이 있다.
  • oMLX의 Metal 커널 속도 향상이 크다는 언급도 있다.
• M5 Max 128GB 실사용 후기
  • DeepSeek V4 flash 출시부터 써 왔고 최고의 런처라는 평가가 있다.
  • Qwen 3.8 flash next도 일주일 넘게 빠르고 긴 컨텍스트로 잘 돌았다고 한다.
  • 모델이 앞서 한 말을 잊는 경우가 있는데 에이전트 하네스 문제일 수도 있다는 의견이 붙었다.
• llama.cpp·ollama와 뭐가 다르냐는 반론
  • 이미 ollama로 로컬 모델을 쓰고 있어서 새로운 점이 뭔지 모르겠다는 질문이 여럿 나왔다.
  • 디스크 KV 캐시는 llama.cpp 포크로도 구현해 쓴다는 댓글이 있다.
• 양자화 품질과 메모리 기준에 대한 지적
  • 이렇게 양자화한 dsv4 체크포인트는 품질이 좋지 않다는 의견이 있다.
  • 블로그는 64GB 맥을, GitHub는 96GB를 최소로 적어 서로 다르다는 지적이 있다.

How to Apply

• ds4 서버를 받아 로컬 API 띄우기
  • 맥 64GB 이상이면 git clone 후 ./download_model.sh ds4f-q2 와 make를 실행한다.
  • ./ds4-server --ctx 100000 으로 띄우고 curl로 /v1/chat/completions를 호출해 응답을 확인한다.
• 코딩 에이전트 base URL을 로컬로 바꾸기
  • Claude Code나 OpenCode의 base URL을 ds4-server 주소로 바꾼다.
  • 같은 저장소 작업을 클라우드 모델과 돌려 속도와 품질을 비교한다.
• 긴 시스템 프롬프트에 prefix 캐시 쓰기
  • 시스템 프롬프트와 문서를 요청 앞쪽에 고정해 해시가 같은 prefix를 유지한다.
  • 서버 재시작 전후의 첫 응답 시간을 재 보고 prefill 절감을 확인한다.
• 내 기기에 맞는 모델 고르기
  • Hardware 페이지의 fit check에서 플랫폼과 메모리를 골라 시작 경로를 확인한다.
  • 128GB 미만이면 SSD 스트리밍이 필요한 모델이 있는지 먼저 본다.

Try It

# 터미널(macOS, Apple Silicon 64GB+)에 붙여넣기

git clone https://github.com/antirez/ds4
cd ds4 && ./download_model.sh ds4f-q2
make

# 서버 실행
./ds4-server --ctx 100000

# 다른 터미널에서 호출 (포트는 서버 출력 확인 후 {{PORT}}에 넣기)
curl http://localhost:{{PORT}}/v1/chat/completions -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"{{질문}}"}]}'

# 이어서 해 볼 것: 같은 긴 프롬프트로 서버를 재시작하고 첫 응답 시간을 비교

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://dwarfstar.sh/
• https://github.com/antirez/ds4
• https://github.com/NimbleMarkets/ds4
• https://github.com/nimblemarkets/ds4go#install
• https://github.com/antirez/ds4/pull/1115
• https://github.com/simoneiacomino/xenolith
• https://github.com/noonghunna/club-3090
• https://github.com/gchamon/club-3090-server