낡은 TV 박스와 iPad Air에서 16B LLM 돌리기: smolmaxxing
I'm making LLMs work on small and old devices
TL;DR Highlight
llama.cpp를 패치해 RAM 1GB 기기에서 16B MoE 모델을 돌렸다
Who Should Read
온디바이스·엣지 환경에서 작은 LLM을 돌려야 해서 메모리와 속도 최적화가 궁금한 개발자
Core Mechanics
- RAM 1GB 기기에서 16B 모델 실행
- Xiaomi TV Box S(3세대)는 사용 가능 RAM 약 1GB로 Ling-mini-2.0 16B를 5.1 tok/s로 돌린다.
- iPad Air(2013)는 사용 가능 RAM 약 700MB로 같은 16B 모델을 2.6~4.5 tok/s로 돌린다.
- Experts를 flash에서 읽어 온다
- MoE(Mixture-of-Experts, 토큰마다 일부 전문가만 쓰는 모델)는 토큰당 expert를 몇 개만 쓴다.
- 자주 쓰는 expert는 RAM에 두고 나머지는 필요할 때 flash에서 읽으며 다음 레이어 것은 미리 읽는다.
- 안 쓰는 어휘 출력 행을 버려 RAM 절약
- 작은 모델 어휘의 대부분은 거의 쓰이지 않아 해당 출력 행을 버린다.
- TV에서는 headless 모드로 런처와 Google 서비스도 멈춘다.
- 칩에 맞춘 커널을 직접 만들었다
- 1-bit lookup-table 커널과 Cortex-A55용 2-bit·ternary 재배열 포맷을 만들었다.
- dot-product 명령이 없는 A7용 버전도 만들었다.
- 일상용 모델과 최대 모델이 다르다
- TV 박스의 일상용은 Qwen3.5-2B 7.7 tok/s다.
- iPad Air의 일상용은 Bonsai-1.7B(1-bit) 24~26 tok/s다.
- 전부 llama.cpp 패치다
- 패치한 llama.cpp가 필요하고 stock llama.cpp로는 모델 파일을 못 읽는다.
- 모든 수치는 기기에서 직접 쟀다고 한다.
Community Reactions
- 작은 모델 활용도에 대한 의문
- 실용 작업에 쓸 만큼 똑똑한지, 장난감인지 묻는 댓글이 여러 개 있었다.
- Qwen은 작은 모델로 부적합하다는 의견
- 축소판이라 실제 작업에서 무너진다는 의견이 있었다.
- MiniCPM, LFM, Granite, Gemma E2B 등이 작은 크기용으로 설계됐다고 했다.
- 6.5M 모델로 여러 일을 한다는 경험
- 직접 학습한 6.5M 파라미터 모델이 추론, 수학, 도구 호출, RAG, 대화를 한다는 경험이 있었다.
- ONNX 패키징 약 30MB에 브라우저에서 10ms 미만 지연이라고 했다.
- 에이전트가 이 작업을 한 번에 해낸다는 의견
- 추론 엔진은 거의 곱셈 연산이라 최근 에이전트는 원샷으로 구현한다는 의견이 있었다.
- 어려운 건 기기 확보와 ssh 접근이라고 했다.
How to Apply
- 내 기기에서 쓸 모델 후보 정하기
- 오늘 30분 안에 쓰려는 기기의 사용 가능 RAM을 확인한다.
- 그 값을 기준으로 docs/models.md의 모델 목록에서 Qwen3.5-2B나 Bonsai-1.7B 같은 후보를 고른다.
- MoE 모델은 RAM 한도보다 크게 잡아 보기
- 온디바이스 후보에 MoE 모델을 포함한다.
- expert 페이징(flash 읽기) 방식이면 RAM보다 큰 모델도 돌릴 수 있는지 본다.
- 내 용도 평가셋으로 작은 모델 비교하기
- 툴 호출과 반복 루프를 포함한 작업별 평가셋을 만든다.
- 속도(tok/s)와 함께 품질을 기기에서 직접 잰다.
Try It
# Claude Code 또는 ChatGPT에 붙여넣기 (댓글에서 나온 프롬프트를 응용한 간이 버전)
목표 기기: {{기기 모델명, CPU, 사용 가능 RAM}}
모델: {{예: qwen3 0.6b}}
이 기기에서 돌아가는 추론 엔진을 만들어 줘.
- 가중치를 바이너리에 붙이는 스크립트를 작성해
- 입력은 stdin으로 u32 토큰 ID 스트림을 받고, 출력은 stdout으로 u32 토큰 ID를 스트리밍해
- 시뮬레이터(qemu 등)로 먼저 테스트하는 방법을 알려줘
이어서 해 볼 것: 속도(tok/s)를 재고 병목이 어디인지 설명해 달라고 요청해 보기Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습