Paul Graham: "17살이면 LLM을 밑바닥부터 만들어 보겠다"

TL;DR Highlight

PG는 17살이면 창업 말고 LLM 밑바닥 구현부터 배우겠다고 했다

Who Should Read

LLM API만 쓰다가 내부 동작까지 공부할 가치가 있는지 고민하는 백엔드 개발자

Core Mechanics

PG의 조언은 LLM을 직접 만들어 보라는 것
- 17살이면 LLM을 밑바닥부터 만드는 법을 배우겠다고 했다.
- 이후 접근 가능한 하드웨어로 최대한 강력한 모델을 학습시키겠다고 했다.
창업부터 하라는 얘기가 아니다
- PG는 17살이면 창업을 시도하지 않겠다고 덧붙였다.
- 대신 나중에 창업의 토대가 될 지식을 쌓겠다고 했다.
LLM을 깊이 알면 아이디어가 나온다
- 17살 때 아는 것으로 회사를 시작하는 것보다 LLM 이해에서 더 좋은 창업 아이디어가 나온다고 했다.
Yann LeCun은 다른 방향을 제시했다
- LLM은 에세이는 써도 방 청소는 못 하는 이유를 파헤치겠다고 했다.
- 대학·대학원에서 그 문제를 푸는 데 도움 될 주제를 공부하겠다고 했다.
- LLM 너머의 방법과 아키텍처를 찾겠다고 했다.

Community Reactions

LLM 이해가 다음 문제를 푸는 직관이 된다는 의견
- 직접 만들어 보면 가중치와 수학 수준까지 직관이 생긴다는 의견이 있었다.
- "그냥 LLM에 맡기자"가 틀린 선택인 때를 구분하게 된다는 의견이다.
Karpathy 영상과 Raschka 책으로 공부해 봤더니 몇 달 걸렸다는 경험
- 이미 PyTorch와 신경망을 알던 사람은 몇 달간 저녁과 주말 일부면 충분했다고 했다.
- 이후 compressed latent attention 같은 최신 개념을 따라가기 쉬워졌다고 했다.
하드웨어와 비용 장벽이 크다는 반론
- 8GB GPU로는 소형 모델 파인튜닝이나 nanochat 실행이 고통스럽다는 경험이 있었다.
- 클라우드 B200은 $100으로 약 25시간밖에 못 쓴다는 지적이다.
취업과 시장 가치에 의문을 던진 의견
- 장난감 LLM을 이해하는 사람은 이미 많아 일자리가 없다는 의견이 있었다.
- 모델을 만드는 능력보다 오픈 웨이트 모델을 세팅해 API로 서비스하는 사람이 더 가치 있을 수 있다는 의견도 있었다.

How to Apply

이번 주말 nanoGPT류 튜토리얼 하나 훑기
- 오늘은 댓글에 나온 languagemodelbuilder.com이나 how-to-train-your-gpt 저장소 중 하나를 열어 목차를 확인하라.
- 토크나이저와 어텐션 부분만 먼저 읽어라.
팀 LLM 기능에서 모델 교체 지점 정리하기
- 직접 학습이 목적이 아니면 오픈 웨이트 모델 세팅과 API 노출 경험을 우선 쌓아라.
- 현재 서비스에서 어디를 모델 교체로 풀 수 있는지 한 장으로 적어라.
"LLM에 맡길 일" 판단 기준 만들기
- 새 기능을 기획할 때 LLM이 맞는지 아닌지 판단하는 체크리스트를 작성하라.
- 내부 동작 학습에서 얻은 직관을 그 기준에 반영하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (원문은 학습 방법이 아닌 조언이라 간이 버전)

나는 LLM API를 쓰는 개발자이고, LLM을 밑바닥부터 만드는 법을 배우려 한다. 내 수준: {{수학/파이토치 경험}}. 쓸 수 있는 하드웨어: {{GPU/메모리}}. 투자 가능 시간: {{주당 시간}}.

이 조건에서 4주 학습 계획을 세워 줘. 주차별로 읽을 것, 직접 구현할 것, 하드웨어 제약 때문에 줄여야 할 것을 구분해 줘.

이어서 해 볼 것: 1주차 구현 과제를 코드 골격으로 달라고 요청하기.

Terminology

LLM from scratch기존 라이브러리의 완성된 모델을 가져다 쓰지 않고 토크나이저, 어텐션, 학습 루프를 직접 짜는 것. 자동차를 사지 않고 엔진을 조립해 보는 것과 비슷하다.

compressed latent attention댓글에서 최신 개념으로 언급된 어텐션 기법 이름. 원문에는 자세한 설명이 없다.

nanochat댓글에서 Karpathy 저장소로 언급된 LLM 학습 프로젝트. 약한 GPU로 돌리면 반복에 며칠이 걸린다는 경험이 달렸다.

B200댓글에서 연구가 전제하는 고성능 GPU로 언급된 것. 개인이 클라우드로 빌리기엔 비싸다는 맥락이었다.