Quadrillion-parameter transformer와 학습 방법: 고정 데이터에서 모델을 키우는 법

Who Should Read

LLM 사전학습의 데이터 부족 문제와 scaling law 흐름이 궁금한 LLM API·에이전트 실무 개발자

Core Mechanics

• 데이터 고정이면 모델은 계속 커진다
  • 데이터셋을 고정하면 compute-optimal 모델 크기가 compute 예산과 함께 계속 커진다.
  • Chinchilla는 같은 조건에서 파라미터당 토큰 20개로 모델 크기를 고정한다.
• 5T 토큰 외삽 시 Chinchilla의 약 7,000배
  • 5T 토큰으로 외삽하면 1029 FLOPs에서 Chinchilla 대비 약 7,000배 파라미터를 권장한다.
  • ensemble 전체 기준으로 토큰당 300개 넘는 파라미터를 가진다.
• 큰 모델엔 weight decay를 훨씬 세게
  • 최적 weight decay는 epoch 수와 모델 크기에 따라 가파르게 커진다.
  • 기존 방식(MuP)은 learning rate만 다루고 weight decay는 다루지 않는다.
• 하이퍼파라미터 법칙은 16배 compute에서도 통한다
  • 맞춘 compute의 16배에서도 거의 최적이고, 시험한 모든 축에서 최적 loss와 0.01 nats 이내다.
  • 기존 휴리스틱은 각각 적어도 한 축에서 빗나간다.
• ensembling을 scaling 축으로 넣었다
  • snapshot ensembling은 한 번의 학습 중 저장한 체크포인트 예측을 평균내서 추가 학습 compute가 들지 않는다.
  • compute가 데이터에 비해 크면 deep ensembling(시드 다른 독립 모델 평균)이 최적이 되고 멤버 수는 compute에 거의 비례해 늘어난다.
• 기존 방식은 compute를 늘리면 오히려 나빠진다
  • 100M 토큰 실험에서 기존 recipe는 compute가 늘수록 loss가 나빠진다.
  • 하이퍼파라미터 전이와 ensembling을 함께 쓰면 loss가 계속 내려간다.

Community Reactions

How to Apply

• 지금 쓰는 모델 크기 판단 기준 점검하기
  • 파인튜닝이나 자체 학습에서 데이터가 고정이면 Chinchilla식 20:1 기준을 그대로 믿지 말고 모델 크기와 epoch 수를 같이 바꿔 가며 비교하라.
  • weight decay도 모델 크기와 epoch에 맞춰 함께 조정하라.
• 반복 epoch 학습에 snapshot ensembling 시도하기
  • 학습 후반에 cyclic learning rate(1 epoch 주기)를 쓰고 각 주기 끝 체크포인트를 저장하라.
  • 저장한 체크포인트의 예측을 평균내 단일 모델과 검증 loss를 비교하라.
• 추가 compute는 deep ensemble에 배분하기
  • 모델 크기와 epoch을 먼저 키운 뒤에도 compute가 남으면 시드를 달리한 독립 모델을 더 학습해 평균내라.

Terminology

관련 논문

• Astra가 Qwen 가중치를 직접 읽고 고쳐 MATH-500 48.1%로

  LLM이 가중치를 직접 수정했더니 Qwen3.5-0.8B 수학 7.9%→48.1%

• AI 글쓰기 버릇을 학습으로 뺀 Qwen3-4B (qwen3-4b-deslop)

  Qwen3-4B를 LoRA로 증류했더니 AI 문체 점수가 121에서 12.5로 떨어졌다

• Dust: 역전파 없이 Transformer를 사전학습하는 방법

  활성값에 토큰별 노이즈를 줬더니 역전파 없이 Transformer 사전학습이 됐다

• TurboGPT: 22KiB 트랜스포머를 13초 만에 학습시키는 CUDA 프로젝트

  CUDA C++로 바이트 단위 tiny GPT를 1분 안에 학습하는 오픈소스

• Gemini가 만든 라벨 $9로 자기 대체 모델 GLiNER 학습시키기

  Gemini 라벨 $9로 GLiNER를 튜닝해 로컬에서 F1 0.83 달성

• 절대 포기하지 않기(Never Give Up): LLM RL에서 어려운 문제를 풀게 만드는 방법

  쉬운 문제에 쓰는 연산을 줄이고 어려운 문제를 재시도했더니 어려운 문제 성능이 올랐다

• 3.8B LLM을 $998로 학습해 CORE 0.384 달성하기

  B200 8장으로 43시간, $998를 들여 3.8B 모델이 CORE 0.384를 기록했다

• Paul Graham: "17살이면 LLM을 밑바닥부터 만들어 보겠다"

  PG는 17살이면 창업 말고 LLM 밑바닥 구현부터 배우겠다고 했다

Related Resources

• https://qlabs.sh/research/parameters
• https://arxiv.org/abs/2610.37842