최신 LLM의 Positional Embedding 이해하기
Understanding Positional Embeddings in Modern LLMs
TL;DR Highlight
GPT-2부터 RoPE까지, LLM이 토큰 위치를 넣는 방식을 정리했다
Who Should Read
RoPE·컨텍스트 길이 설정을 매번 대충 넘기던 LLM API·모델 서빙 담당 백엔드 개발자
Core Mechanics
- 위치 정보가 없으면 순서를 못 구분한다
- "The red fox jumps over the gray fox."와 "The gray fox jumps over the red fox."는 단어 순서만 달라도 뜻이 달라진다.
- 같은 토큰 ID(예: fox=2)는 위치와 상관없이 같은 임베딩(토큰을 숫자 벡터로 바꾼 것)을 받는다.
- 그래서 대부분의 LLM은 위치 정보를 명시적으로 넣는다.
- GPT-2는 위치 벡터 표를 학습한다
- 토큰 임베딩 바로 뒤에 위치 벡터를 더해서 첫 트랜스포머 블록에 넣는다.
- 원본 GPT-2는 위치 벡터가 1,024개라서 1024 토큰 이하 입력만 처리한다.
- 컨텍스트 길이는 학습 시작 전에 정해야 한다.
- 컨텍스트를 늘리면 위치 표가 커진다
- GPT-2 Medium은 1,024 위치에서 위치 임베딩이 전체 가중치의 0.30%다.
- 컨텍스트를 요즘 흔한 100k 범위로 늘리면 전체 가중치의 22% 넘게 차지한다.
- 원조 트랜스포머는 sin/cos 고정 함수를 썼다
- 2017년 "Attention Is All You Need"는 사인·코사인으로 위치 벡터를 만들고 학습하지 않는다.
- 학습 때 못 본 위치까지 계산은 되지만 성능이 좋다는 보장은 없다.
- 저자들은 "3토큰 전" 같은 상대 위치 관계를 배우기 쉬워질 거라고 가정했다.
- RoPE는 attention 안에서 query/key를 회전시킨다
- RoPE(Rotary Position Embedding)는 2021년 RoFormer 논문에서 나온 상대 위치 방식이다.
- 토큰 위치에 따라 query와 key를 회전시킨 뒤 내적하고 value는 회전하지 않는다.
- MiniMax-M3처럼 입력 임베딩에 위치 벡터를 따로 더하지 않는 구조가 된다.
- causal mask만으로도 순서 힌트가 생긴다
- GPT 계열의 causal mask는 각 토큰이 자신과 이전 토큰만 보게 해서 암묵적인 순서 정보를 준다.
- 하지만 거리 1과 거리 10의 차이는 구분하지 못해서 명시적 위치 정보가 여전히 유용하다.
- 위치 정보를 아예 빼는 NoPE 개념은 글 뒷부분에서 다룬다고 한다.
Community Reactions
How to Apply
- 쓰는 모델의 위치 방식을 확인하기
- 오늘 쓰는 오픈 웨이트 모델의 config와 아키텍처 문서에서 위치 인코딩 방식(학습형 절대, sin/cos, RoPE)을 찾아 적어 둔다.
- 컨텍스트 길이 한계가 위치 방식과 어떻게 연결되는지 팀 문서에 한 줄로 남긴다.
- 컨텍스트 확장 전에 학습 여부 확인하기
- 학습형 절대 위치 모델이면 표 크기가 곧 컨텍스트 상한이므로 입력을 그 길이 안으로 자른다.
- sin/cos는 학습 길이를 넘겨도 계산은 되지만 성능을 보장하지 않으니 긴 입력 평가를 따로 돌린다.
- RoPE 구현 읽을 때 query/key 위치 확인하기
- 모델 코드에서 RoPE를 적용하는 곳이 attention 안의 query와 key인지, value는 빠지는지 확인한다.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 위치 인코딩 방식 점검)
당신은 LLM 아키텍처 설명자입니다. 아래 모델 config나 코드를 읽고 답하세요.
{{모델 config 또는 모델 코드}}
질문:
1. 위치 정보를 넣는 방식은 무엇인가요(학습형 절대 위치, sin/cos 고정, RoPE, 기타)?
2. 위치 정보가 입력 임베딩에 더해지나요, attention 안의 query/key에 적용되나요?
3. 이 방식이 컨텍스트 길이를 늘릴 때 어떤 제약을 주나요?
코드에 근거가 없는 부분은 '확인 불가'라고 답하세요.
이어서 해 볼 것: 같은 질문을 다른 모델 config에도 던져 결과를 표로 비교해 보세요.Terminology
관련 논문
Gemini 4 Neon 출시: 프런티어급 성능, 빠른 속도, 낮은 작업당 비용
Gemini 4 Neon은 Carbon보다 작업당 비용 32%↓, 입력 $3·출력 $15
AI가 All About Berlin을 죽이고 있다
Google AI Overviews 도입 후 베를린 가이드 사이트 트래픽이 70~75% 줄었다
모든 걸 LLM에 맡기지 마라: PostHog의 decision model 활용기
PostHog는 작은 decision model로 LLM 호출 98.7%를 건너뛰었다
GPT-6.2 Astra·Sol 출시, 댓글로 본 비용·속도와 에이전트 동작 후기
GPT-6.2 Astra·Sol은 비용이 크게 줄었지만 과설계·조기 종료 후기가 엇갈린다
TrnRT: AWS Trainium용 오픈소스 LLM 추론 엔진
trn2.48xlarge 한 대로 GLM-5.3-Flash를 OpenAI 호환 API로 서빙한다
언제 줌해야 할까: VLM에게 이미지는 얼마나 작아야 너무 작은가
큰 사진을 타일로 쪼개 보내니 Claude·Gemini 정확도가 11~14.5%p 올랐다
DeepSeek V3를 순수 JAX 190줄로 구현해 MacBook Air에서 학습
DeepSeek V3 핵심 구조를 JAX 190줄로 짜서 맥북에어에서 2.6시간 학습
NVIDIA가 AI 스타트업에 투자해 GPU 부족을 키웠다는 WSJ 보도
WSJ: NVIDIA가 투자한 스타트업이 다시 NVIDIA GPU를 사게 했다는 의혹