DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
Show HN: DeepSeek V3 in ~200 lines of pure Jax
TL;DR Highlight
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습
Who Should Read
DeepSeek V3의 MLA·MoE 구조가 실제로 어떻게 동작하는지 코드로 이해하고 싶은 LLM 앱 개발자
Core Mechanics
- DeepSeek V3 구조를 190줄에 담았다
- MLA, DeepSeekMoE, 보조 손실 없는 균형(aux-loss-free balancing), MTP를 순수 JAX로 구현했다.
- Flax, Equinox, PyTorch 없이 파라미터는 일반 dict 배열이다.
- MLA로 토큰당 캐시가 480에서 144로 줄었다
- MLA(Multi-head Latent Attention)는 전체 key·value 대신 작은 latent 하나만 캐시한다.
- 이 구현 기준 토큰·레이어당 480개 숫자가 144개가 된다.
- MoE는 공유 1개에 라우팅 16개 중 top-4다
- 공유 expert 1개는 항상 실행된다.
- 모델은 총 36.2M 파라미터이고 토큰당 활성은 13.6M이다.
- bias 균형은 성능 손실이 없었다
- 2000스텝 기준 bias 켠 경우 expert 부하는 5.7~6.9%이고, 끈 경우는 0.09~18.6%다.
- validation loss는 3.921 대 3.923으로 같았고, 저자는 논문의 주장과 일치한다고 썼다.
- 학습은 MacBook Air M5 24GB에서 약 2.6시간 걸렸다
- 공개 도메인 탐정소설 207권, 학습 토큰 21.7M으로 12,000스텝(약 98M 토큰)을 돌렸다.
- 속도는 중앙값 약 10.7k tokens/s, validation loss는 5.02(250스텝)에서 3.51로 내려갔다.
- 실서비스용 모델이 아니라 아키텍처 데모다
- 효율을 위해 모든 expert를 모든 토큰에 돌리고 선택 안 된 쪽은 0으로 만든다(sparse dispatch 없음).
- FP8 학습, DualPipe, YaRN, post-training은 빠졌고 규모도 671B 대비 36.2M, 컨텍스트는 128K 대비 256이다.
Community Reactions
- JAX 비전공 개발자의 로드맵 질문
- Java·Python 위주 SWE 개발자가 이런 구현을 이해하려면 어떤 순서로 공부해야 하는지 묻는 댓글이 있었다.
- 답변은 이 글 범위에서 확인되지 않았다.
- 데이터셋 선택에 대한 비교 가능성 지적
- 다른 사람이 쓴 데이터셋을 쓰면 결과를 직접 비교할 수 있다는 의견이 있었다.
- 저자는 일부러 탐정소설을 골랐고 그 점은 자기 프로젝트라 괜찮다는 반응이었다.
- AMD RX 7600 XT에서도 끝까지 돌았다는 경험
- Fedora와 ROCm 환경에서 JAX가 CUDA 없이 돌았다는 경험이 올라왔다.
- HSA_OVERRIDE_GFX_VERSION=11.0.0과 XLA_FLAGS=--xla_gpu_enable_triton_gemm=false 두 환경변수가 필요했고 컨테이너 설정은 PR #1에 있다고 했다.
- 작은 모델 학습에 응용해 보겠다는 반응
- 10M 미만 소형 모델을 학습 중인데 상세한 설명과 샘플 출력이 좋았다는 댓글이 있었다.
- 시각적 구조 도식이 이해에 도움 된다는 의견도 있었다.
How to Apply
- 체크포인트 받아 샘플 생성해 보기
- 오늘 README의 v1.0 release 체크포인트와 tokenizer를 내려받아 sample.py로 3개 생성해 보자.
- 체크포인트는 pickle이므로 신뢰할 수 있는 출처만 로드해야 한다.
- deepseek_v3.py를 읽으며 MLA 캐시 크기 계산하기
- mla와 init_cache 함수를 열어 토큰당 캐시 숫자가 왜 144인지 직접 따라가 보자.
- 서비스의 KV 캐시 메모리 계산과 비교해 보자.
- bias on/off 실험 재현하기
- train.py를 --steps 2000으로 --no-bias 유무를 바꿔 두 번 돌려 expert 부하를 비교하자.
- metrics.jsonl의 per-expert load로 쏠림을 확인하자.
- 맥북이 약하면 small 설정으로 시작하기
- 8~16GB Mac이나 CPU는 JAX_PLATFORMS=cpu와 --config small로 실행하자.
- small 설정은 몇 스텝만 검증됐고 끝까지 학습되지 않았음을 감안하자.
Try It
# 셸(Apple Silicon Mac, Python 3.12, uv 필요)에 붙여넣기: 학습된 체크포인트로 텍스트 생성
git clone https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax.git && cd deepseek-v3-jax
uv venv -p 3.12 .venv
uv pip install --python .venv/bin/python -r requirements.txt
mkdir -p data runs/main
curl -L -o runs/main/ckpt.pkl https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl
curl -L -o data/tokenizer.json https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/tokenizer.json
.venv/bin/python sample.py --prompt "The fog came in off the" --num 3
# 이어서 해 볼 것: JAX_PLATFORMS=cpu .venv/bin/pytest tests.py -q 로 39개 테스트 확인Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
NVIDIA가 AI 스타트업에 투자해 GPU 부족을 키웠다는 WSJ 보도
WSJ: NVIDIA가 투자한 스타트업이 다시 NVIDIA GPU를 사게 했다는 의혹