"Next-token predictor"는 LLM을 이해하는 잘못된 멘탈 모델이다

Who Should Read

LLM이 "그냥 다음 토큰 예측기"라는 설명이 맞는지 헷갈리는 LLM API 활용 개발자

Core Mechanics

• 추론 루프는 여전히 토큰을 하나씩 뽑는다
  • 생성 시점의 모양은 next-token predictor가 맞다.
  • 글쓴이도 "틀린 말은 아니고 불완전하다"고 말한다.
• 프리트레이닝은 실제 다음 토큰을 맞히는 학습이다
  • 학습 데이터에 실제로 나온 다음 토큰의 확률을 높인다.
  • 그래서 base model은 next-token predictor로 볼 수 있다고 한다.
• RLVR엔 맞힐 정답 토큰이 없다
  • RLVR은 검증 가능한 보상을 쓰는 강화학습(reinforcement learning with verifiable rewards)이다.
  • 모델이 직접 만든 시퀀스가 높은 보상을 받으면 그 안의 토큰들이 더 나올 확률이 높아진다.
• 같은 함수, 다른 이유로 확률을 올린다
  • 프리트레이닝은 데이터에 나왔다는 이유로 토큰 확률을 올린다.
  • RLVR은 그 토큰이 든 시퀀스가 높은 보상을 받았다는 이유로 올린다.
• 체스 엔진 비유로 차이를 설명한다
  • 기사 기보를 학습해 다음 수를 맞히는 시스템은 next-move predictor다.
  • 모든 게임을 탐색해 승률이 가장 높은 수를 고르는 엔진은 predictor라 부르기 이상하다고 한다.

Community Reactions

• "결국 확률분포를 학습하니 여전히 예측"이라는 반론
  • 학습하는 것은 어차피 P(token_k | 앞 토큰들)이라는 의견이 있었다.
  • 어디서 배웠든 예측 과제라는 주장이다.
• 프리트레이닝도 단순 next-token 예측은 아니라는 의견
  • 역전파에서 위치 i의 표현은 뒤따르는 모든 토큰의 손실 기여를 합산해 받는다는 지적이 있었다.
  • 그래서 다음 한 토큰만 위한 표현이 아니라는 설명이다.
• 실사용에서는 next-token 모델이 잘 들어맞는다는 경험
  • "schmutz" 대신 "schmuck"이 나오고, 첫 단어 "Yes"에 갇혀 뒤에서 말을 뒤집는 오류를 봤더니 next-token 모델로 설명됐다는 경험담이 있었다.
• 체스 비유가 부적절하다는 의견
  • 체스 엔진은 탐색 트리에서 한 분기 전체를 고르지만 트랜스포머에서 전체 계획이 어디 저장되는지는 설명된 바 없다는 지적이 있었다.
• 설명 수준마다 맞는 모델이 다르다는 의견
  • next-token predictor와 pattern matcher 모두 때에 따라 유용하니 상황에 맞게 골라 쓰자는 주장이 있었다.
  • 에이전트 시스템은 단순한 predictor만으로 보기 어렵다는 의견도 있었다.

How to Apply

• 모델의 실패를 두 층으로 나눠 진단하기
  • 오늘 실패한 프롬프트 3개를 골라 "첫 토큰에 갇힘"인지 "보상 최적화형 풀이 실패"인지 분류한다.
  • 첫 답이 틀리면 답 전에 근거를 쓰게 순서를 바꿔 다시 돌려 본다.
• 결론을 먼저 말하게 하는 프롬프트 순서 바꾸기
  • Yes/No 판정 프롬프트에서 "먼저 근거, 마지막에 결론" 순서를 명시한다.
  • 앞 토큰이 뒤 답을 고정하는 현상을 줄이는지 같은 입력으로 비교한다.
• 검증 가능한 작업에는 결과 검증기를 붙이기
  • 코드·수식처럼 정답 판정이 가능한 작업은 테스트 실행 결과를 모델에 되돌려 재시도시킨다.
  • RLVR이 보상으로 학습하듯 통과 여부를 피드백으로 쓴다.

Try It

# Claude·ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 결과 검증 보상 흉내)

당신은 아래 문제를 푸는 풀이자입니다. 서로 다른 접근법 3가지로 각각 풀고, 각 풀이를 스스로 검증 가능한 기준(테스트·계산 재확인)으로 채점해 0~10점을 매기세요.

문제: {{문제}}

규칙: 결론은 맨 마지막에만 쓰고, 먼저 근거와 검증 과정을 쓰세요. 가장 점수가 높은 풀이를 최종 답으로 고르세요.

이어서 해 볼 것: 같은 문제를 "결론부터 말해"로 시켜 정답률을 비교해 보세요.

Terminology

관련 논문

• AI는 도구다, 잘 쓰려면 기술이 필요하다

  Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박

• 딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합

  GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781

• GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기

  OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다

• Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

  응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

• Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다

  옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다

• 프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM

  Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로

• 언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

  "Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다

Related Resources

• https://gmcgoldr.github.io/2026/09/04/llm-next-token-predictors.html