Magnitude: 내 하드웨어에서 커널을 스스로 튜닝하는 오픈소스 추론 엔진

TL;DR Highlight

모델 다운로드 시 커널을 튜닝해 Ollama보다 평균 2배 빠르다고 주장하는 로컬 추론 엔진

Who Should Read

로컬 LLM을 코딩 에이전트의 백엔드로 돌리며 Ollama·llama.cpp 속도에 불만인 개발자

Core Mechanics

모델마다 내 칩에서 커널을 튜닝한다
- 모델을 내려받을 때 최대 1분 동안 실제 칩에서 연산 분할 방식을 여러 가지 시도한다.
- 모델 출력이 바뀌지 않는 조합 중 가장 빠른 것만 남긴다.
Ollama 대비 평균 2배 이상 빠르다고 주장
인기 로컬 모델 평균, Mac과 NVIDIA 기준이라고 적혀 있다.
- 상세 벤치마크는 별도 페이지에 있다.
추측 디코딩 드래프터를 모델마다 내장
- 각 모델에 가장 빠른 speculative decoding(작은 모델이 초안을 쓰고 큰 모델이 검증하는 가속법) 드래프터가 들어 있다.
메모리와 동시 세션도 챙긴다
- 양자화한 KV 캐시로 에이전트당 메모리가 절반이 된다고 한다.
- 세션끼리 prefix cache를 공유해 동시에 써도 느려지지 않게 한다.
에이전트 연결이 쉽다
- Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline은 원클릭 연결이다.
- 그 외에는 OpenAI 호환 API로 쓴다.

Community Reactions

M5 Max에서 rapid-mlx보다 느렸다는 경험
- 여러 4bit 모델 평균에서 rapid-mlx는 디코드 175 tok/s, Magnitude 0.2.1은 161 tok/s였다는 댓글이 있다.
- 이미 최적화된 모델에는 이득이 거의 없다는 의견이다.
디코드는 빨라도 prefill은 느렸다는 경험
- M5 Pro 48GB에서 gemma-4-26b-qat-4bit를 oMLX와 비교했더니 디코드 82.8 대 76.5 tok/s로 빨랐다는 댓글이다.
- prefill은 709 대 1843 tok/s로 약 2.6배 느렸다고 한다.
비교 기준이 llama.cpp·Ollama라 낮다는 반론
- Mac에서는 MLX가 기준이어야 한다는 의견이 여러 개 있다.
- 벤치마크 방법론과 긴 컨텍스트(100~200K) 성능 공개를 요구하는 댓글도 있다.
멀티 GPU 인식 오류 경험
- NVIDIA 16GB 2장을 4장으로 인식하고 한 장만 쓴다는 댓글이다.
- 5070ti에서 llama.cpp가 디코드 20~30% 더 빨랐다고 한다.

How to Apply

지금 쓰는 로컬 엔진과 같은 모델로 속도 비교하기
- 오늘 Magnitude를 설치해 현재 쓰는 모델을 받는다.
- 같은 프롬프트로 디코드 tok/s, TTFT, prefill 시간을 양쪽에서 재라.
긴 컨텍스트로 벤치마크하기
- 에이전트 실제 길이인 100K 이상 프롬프트로 재라.
- 짧은 컨텍스트 결과만 믿지 마라.
OpenAI 호환 엔드포인트로 기존 에이전트 붙이기
- 기존 런타임의 base URL만 Magnitude로 바꿔 호출해라.
- 응답 품질과 도구 호출 동작이 같은지 확인해라.

Try It

복사해서 바로 해보기

# Claude Code나 ChatGPT에 붙여넣기: 로컬 엔진 벤치마크 스크립트 요청 (원문 방법의 간이 버전)

내 로컬 LLM 엔진 두 개(A: {{기존 엔진 base URL}}, B: {{Magnitude base URL}})를 OpenAI 호환 API로 비교하는 파이썬 스크립트를 써줘.
- 모델: {{모델명}}
- 프롬프트 길이: 4K, 32K, 128K 토큰 세 가지
- 각 3회 실행 후 TTFT, 디코드 tok/s, 전체 시간 평균을 표로 출력
- 스트리밍으로 첫 토큰 시각을 측정

이어서 해 볼 것: 같은 system prompt를 두 번 연속 보내 prefix cache 효과로 두 번째 TTFT가 줄어드는지도 측정해줘.

Terminology

커널(kernel)GPU에서 실제 행렬 계산을 하는 작은 프로그램이다. 같은 계산도 스레드 분배에 따라 속도가 크게 달라진다.

Speculative decoding작은 모델이 몇 토큰을 먼저 초안으로 쓰고 큰 모델이 한 번에 검증하는 방식이다. 초안이 맞으면 빨라진다.

KV 캐시이미 읽은 문맥의 계산 결과를 저장해 두는 메모리다. 컨텍스트가 길수록 많이 먹는다.

Prefix cache같은 앞부분 프롬프트의 계산을 재사용하는 캐시다. 시스템 프롬프트가 매번 같은 에이전트에 유용하다.

TTFT요청 후 첫 토큰이 나올 때까지 걸리는 시간이다.