Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

사내용 로컬 LLM을 돌리려고 GPU·Mac 구매를 고민하는 백엔드 개발자

하드웨어와 모델만 고르면 속도를 체감
- 사이트는 하드웨어별·모델별로 둘러볼 수 있게 되어 있다.
- 구매 전에 로컬 LLM이 얼마나 빠르게 느껴질지 보여 주는 게 목적이다.
대상은 RTX 3090부터 Mac Studio까지 다양
- NVIDIA RTX 3090·5090, AMD Strix Halo, Mac Studio M5 Ultra, DGX Spark, 클라우드 H100/H200이 목록에 있다.
- CPU 전용(Ryzen 9 9950X, 96GB DDR5) 구성도 있다.
모델도 여러 종류를 고를 수 있다
- Qwen 3.6/3.8 27B, Gemma 4 26B A4B·31B, GPT-OSS 20B·120B가 있다.
- DeepSeek V4 Flash, Llama 3.1 8B, GLM-5.3 등도 있다.
수치는 실측과 추정이 섞여 있다
- 실측치는 커뮤니티 벤치마크(r/LocalLLaMA, localscore.ai 등)에서 가져왔다.
- 나머지는 비슷한 구성에서 유도하거나 스펙으로 예상한 값이다.
짧은 프롬프트, 단일 장치 기준이다
- 추정은 짧은 프롬프트를 단일 장치에서 돌릴 때를 가정한다.
- 코드와 데이터는 GitHub에 오픈소스로 공개되어 있다.

실제 에이전트 작업에선 벤치보다 느리다는 경험
- vLLM을 업무에 돌려 보니 실사용은 60k~140k 프롬프트에 출력 수 k 토큰이라고 한다.
- 이때 디코드 처리량이 벤치의 절반~3분의 1이고 캐시 인지 라우팅·KV 캐시 관리가 중요해진다는 경험이다.
사이트 수치가 실제와 안 맞는다는 반응이 많다
- 5090에서 Qwen3.6 27B 4bit가 사이트엔 46 tok/s인데 실제로는 60~70 tok/s라는 경험이다.
- 4090에서 Q3.8 27B Q4_K_XL이 80 t/s인데 시뮬레이터는 20대 중반이라는 지적이다.
- M2 Ultra 128GB가 M3 Ultra 512GB 표기값의 거의 2배로 돈다는 의견도 있다.
speculative decoding·병렬 prefill 같은 변수가 빠졌다는 의견
- ngram speculation을 켜면 코드에서 100+ tok/s까지 오른다는 경험이 있다.
- 에이전트 코딩에서는 출력 속도보다 prefill 병렬화가 더 중요하다는 의견이다.
VRAM에 안 들어가도 돌아간다는 반론
- 9070 XT에서 FP16 27B가 '실행 불가'로 뜨지만 llama.cpp는 일부 레이어를 CPU로 돌려 실제로 실행된다는 경험이다.
- 멀티 GPU, PCIe 세대, NVLink 옵션을 넣어 달라는 요청도 있다.
구매 전엔 잠깐 빌려서 써 보라는 조언

후보 하드웨어·모델 조합을 사이트에서 먼저 비교하기
- 지금 llmspeed.dev에서 구매 후보 GPU 2~3개와 쓸 모델·양자화를 골라 속도를 적어 둔다.
- 결과는 확정값이 아니라 대략적 순위로만 쓴다.
실사용 길이로 클라우드에서 직접 재 보기
- 후보 GPU를 몇 분 빌려 우리 서비스의 실제 프롬프트 길이로 TTFT와 tok/s를 잰다.
- 에이전트라면 60k 이상의 긴 프롬프트도 따로 넣어 본다.
구매 기준에 prefill과 긴 컨텍스트 항목 넣기
- 요구사항 문서에 평균 입력 토큰, 출력 토큰, 동시 요청 수를 적는다.
- 출력 tok/s만 보지 말고 prefill 시간과 KV 캐시 메모리를 같이 비교한다.

tok/s초당 생성하는 토큰 수다. 타자 속도처럼 높을수록 답이 빨리 나오는 느낌이다.

prefill프롬프트를 모델이 먼저 읽어 처리하는 단계다. 긴 문서를 읽는 시간이라고 보면 된다.

TTFT첫 토큰이 나오기까지 걸리는 시간이다. 질문하고 답이 시작될 때까지 기다리는 시간이다.

KV 캐시이전 토큰 계산 결과를 저장해 두는 메모리다. 컨텍스트가 길수록 많이 차지한다.

speculative decoding작은 모델이 먼저 초안을 쓰고 큰 모델이 검증해 속도를 올리는 기법이다.