Strata: 게이밍 PC에서 Qwen3.8-Flash-Next(125B)를 돌리는 로컬 추론 엔진

Who Should Read

클라우드 API 비용과 프라이버시 때문에 코딩 에이전트를 로컬 GPU에서 돌려 보려는 백엔드 개발자

Core Mechanics

• 125B 모델을 일반 PC에서 돌린다
  • Strata는 서버급인 Qwen3.8-Flash-Next(125B 파라미터)를 게이밍 PC에서 돌리는 추론 엔진이다.
  • RAM과 VRAM을 합쳐 최소 32GB가 필요하다.
  • 디스크는 약 80GB가 필요하다.
• API 호환이라 기존 도구가 붙는다
  • OpenAI API, Anthropic API, OpenAI Responses API를 localhost에서 제공한다.
  • Claude Code, Codex CLI, OpenCode가 연결된다.
  • Claude Code는 ANTHROPIC_BASE_URL=http://127.0.0.1:8080 으로 설정한다.
• 전문가(expert)를 VRAM·RAM·SSD에 나눠 둔다
  • 모델은 24,576개의 전문가(expert, MoE 구조의 작은 하위 네트워크)로 이루어지고 토큰당 10개만 쓴다.
  • 자주 쓰는 약 4,000개는 VRAM, 전부는 RAM에 두고 나머지는 SSD에서 읽는다.
  • 이렇게 12~24GB VRAM에 모델을 맞춘다.
• RTX 5070(12GB)에서 Q2_0은 94 tokens/s
  • 측정 환경은 RTX 5070, Ryzen 5 7600, 64GB RAM이다.
  • 프롬프트 읽기는 Q2_0 기준 2,650 tokens/s이다.
  • IQ3_S는 답변 53 tokens/s, 읽기 1,620 tokens/s로 가장 느리다.

Community Reactions

• 양자화 품질을 의심하는 의견이 많다
  • 4비트 미만 양자화는 품질 저하가 크다는 우려가 나왔다.
  • Q2는 관심 없다거나 Q2에서 장기 코딩은 못 믿는다는 의견이 있었다.
  • 헤드라인에 양자화를 병기해야 한다는 의견도 있었다.
• 비전 정확도가 llama.cpp보다 낮았다는 테스트 경험
  • 50장 객체 좌표 벤치에서 Strata는 중앙값 오차 154.8픽셀이었다.
  • 같은 GGUF와 비전 어댑터를 llama.cpp로 돌리면 46.5픽셀이었다.
  • 이 차이가 9B에서 35B로 가는 성능 점프만큼 크다고 했다.
• 실사용 속도와 만족 후기가 다양했다
  • RTX 4090에 128GB DDR5 환경에서 124 tokens/s를 얻었다는 경험이 있었다.
  • R9700 32GB에 DDR4 96GB로 약 60 t/s이며 Qwen-3.8-27B보다 약 2배 빠르다는 경험이 있었다.
  • 3090에서 PHP 보안 감사에 잘 쓰고 있다는 경험도 있었다.
• 코딩 품질과 동시 요청에서 아쉬웠다는 경험
  • 4090 16GB, RAM 96GB에서 Coder로 Rust 바이너리 트리를 시켰더니 오답이었다는 경험이 있었다.
  • opencode에서는 생각 루프에 빠져 thinking budget을 소진했다고 한다.
  • 동시 요청은 컨텍스트 교체가 잦아 비효율적이었다는 경험이 있었다.

How to Apply

• Strata 설치 후 localhost 서버 띄우기
  • 오늘 RAM+VRAM 32GB 이상 PC에서 install.sh 또는 install.ps1을 실행하라.
  • strata launch --model q2_0 --yes --no-tui 로 서버를 띄워라.
  • curl로 http://127.0.0.1:8080/v1 에 요청을 보내 응답을 확인하라.
• 기존 에이전트의 base URL을 로컬로 바꾸기
  • Claude Code를 쓰면 ANTHROPIC_BASE_URL=http://127.0.0.1:8080 을 설정하라.
  • 다른 도구는 strata connect 로 설정값을 출력해 적용하라.
  • 작은 리포 작업 하나를 시켜 보고 클라우드 결과와 비교하라.
• 내 업무로 양자화별 품질을 직접 비교하기
  • Q2_0과 IQ3_XXS 같은 두 크기로 같은 태스크 10개를 돌려라.
  • 속도(tokens/s)와 정답 여부를 표로 기록하라.
  • 비전 기능을 쓸 계획이면 llama.cpp와 정확도를 별도로 비교하라.

Try It

# 터미널(Linux/Mac)에 붙여넣기 — Strata 설치 후 로컬 서버로 요청 테스트

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh | sh

strata launch --model q2_0 --yes --no-tui

curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"any","messages":[{"role":"user","content":"{{질문}}"}]}'

# 이어서: strata monitor --url http://127.0.0.1:8080 으로 속도와 메모리를 보세요

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://github.com/Niko1221/Strata
• https://huggingface.co/Qwen/Qwen3.8-Flash-Next
• https://github.com/antirez/ds4/blob/main/docs/MODELS.md
• https://github.com/fairfieldt/ds4