유튜브 6시간·손글씨 노트 85쪽으로 배우는 LLM 추론 엔진 직접 만들기
6 Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here
TL;DR Highlight
C++/CUDA로 Llama 3.2 1B 추론 엔진을 밑바닥부터 만드는 강의 시리즈
Who Should Read
LLM API만 써 와서 vLLM 같은 서빙 내부(KV cache, 배칭)가 궁금한 백엔드 개발자
Core Mechanics
- Llama 3.2 1B를 C++/CUDA로 직접 구현
- 프롬프트가 토큰이 되고 GPU에서 다음 토큰이 나오기까지를 따라간다.
- 가중치 로딩, 임베딩, RMSNorm, RoPE, attention, SwiGLU FFN을 하나씩 만든다.
- Prefill과 decode를 나눠서 이해
- prefill은 프롬프트를 한 번에 처리하는 단계다.
- decode는 응답을 토큰 하나씩 생성하는 단계이고 KV cache가 반복 계산을 줄여 준다.
- 배칭은 static과 continuous 두 가지
- static은 현재 그룹이 끝나야 다음 그룹을 받는다.
- continuous는 페이지 예산이 생기면 대기 중인 요청을 바로 받는다.
- Paged KV cache로 메모리를 관리
- 물리 페이지 하나에 16토큰의 K와 V를 담고, 시퀀스·레이어별로 block table을 둔다.
- 페이지는 필요할 때 늦게 할당한다.
- 보수적인 admission 정책
- 요청의 최대 처리 길이만큼 페이지 예산을 미리 보장하고, 부족하면 FIFO로 대기시킨다.
- 선점과 재계산이 없는 대신, 출력 예산을 크게 잡으면 동시 처리량이 줄 수 있다.
- 배치 크기에 따라 출력이 달라질 수 있다
- BF16 반올림이 배치 크기마다 다를 수 있다.
- logit이 거의 동률이면 greedy 출력이 단독 실행과 배치 실행에서 다를 수 있다.
Community Reactions
How to Apply
- Part 0·8을 먼저 보고 용어 잡기
- 오늘 30분 안에 Part 0(AI inference explained)과 Part 8(Decode and KV cache)을 본다.
- prefill, decode, KV cache가 우리 서비스 지연 시간에서 어디에 해당하는지 메모한다.
- -stats로 배칭 동작 직접 확인하기
- CUDA GPU가 있으면 repo를 빌드해 --static과 기본 continuous 모드를 같은 프롬프트로 돌린다.
- 최대 동시 요청 수, 대기 횟수, 남은 페이지 수를 비교한다.
- KV 풀 크기로 동시성 한계 실험하기
- --kv-cache-mib 값을 8처럼 줄여 요청이 대기하는 조건을 확인한다.
- max_new_tokens를 크게 잡으면 동시 처리가 줄어드는지 본다.
- 배치 결과 비교 테스트 넣기
- 서빙 테스트에서 단독 실행과 배치 실행의 출력을 비교하되 완전히 같을 것을 요구하지 않는다.
- 토큰이 달라지면 logit이 거의 동률인 지점인지 먼저 확인한다.
Try It
# Claude/ChatGPT에 붙여넣기 (원문 repo 구조를 학습용 질문으로 옮긴 간이 버전)
나는 LLM API를 쓰는 백엔드 개발자야. 아래 개념을 우리 서비스 관점에서 설명해 줘.
- prefill vs decode
- KV cache
- static batching vs continuous batching
- paged KV cache (페이지 하나에 16토큰)
우리 서비스: {{서비스 설명}}
평균 프롬프트 길이: {{프롬프트 토큰 수}}, 평균 출력 길이: {{출력 토큰 수}}
각 개념마다 (1) 비유 한 줄 (2) 우리 서비스 지연·비용에 미치는 영향 (3) 확인할 지표 하나를 알려 줘.
이어서: max_new_tokens를 크게 잡으면 동시 처리량이 줄 수 있는 이유를 예산(admission) 개념으로 설명해 줘.Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
최신 LLM의 Positional Embedding 이해하기
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습