트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다

TL;DR Highlight

선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상

Who Should Read

트랜스포머가 왜 이런 구조인지 직관이 없어 MLP와 attention의 역할이 궁금한 LLM API 개발자

Core Mechanics

모든 층은 기억 저장소다
- 기억 하나는 키(조회용 벡터)와 값(꺼낼 벡터) 한 쌍이다.
- 키와 비슷한 입력을 넣으면 값이 나오는 구조를 연상 기억(associative memory)이라 부른다.
선형층은 외적을 더해 저장한다
- 새 기억 (k, v)를 넣을 때 가중치에 v·kᵀ를 더하면 된다.
- 조회는 모든 키와 유사도를 구해 값을 가중합하는 방식이다.
간섭이 커지면 기억이 묻힌다
- 조회 결과는 원하는 값(신호)에 다른 기억의 값(간섭)이 섞여 나온다.
- 간섭 대 신호 비율이 1이 될 때의 기억 개수가 용량(capacity)이다.
선형 저장소 용량은 키 차원만큼이다
- 키가 무작위 단위 벡터면 간섭/신호 비율이 대략 √(M/d_k)다.
- 그래서 용량은 M≈d_k이고, 직교 방향이 d_k개뿐이라 그 이상은 완벽 회상이 불가능하다.
선형에서 attention으로 갈수록 용량이 커진다
- 키 64차원 기준으로 약 64개에서 약 2,700개, 그리고 100만 개 이상으로 늘어난다.
- MLP는 비선형 저장소로, self-attention은 비파라메트릭 저장소로 설명된다.

Community Reactions

수학 표기가 장벽이라는 의견
- 선형대수를 전혀 몰라 읽기 어렵다는 독자와 수식 표기 설명이 없어 소외감을 느꼈다는 독자가 있었다.
- 읽고 나서도 트랜스포머를 직접 만들 수는 없겠다는 반응도 있었다.
데이터 구조를 빼서 상한선일 뿐이라는 의견
- 글은 키가 무작위라고 가정하는데 실제 데이터에는 구조가 많아 압축 여지가 크다는 지적이 있었다.
- 그래서 결론은 실제 추정치가 아니라 상·하한이며, 진짜 힘은 구조와의 상호작용에서 나온다는 의견이다.
LLM에서 값이 무엇인지 모르겠다는 질문
- 글이 기억에서 LLM으로 이어지는 마지막 연결에서 막혔다는 독자가 있었다.
- 컨텍스트 토큰이 키라면 값은 무엇인지 묻는 질문이다.
저자가 요약 스레드를 공유했다는 정보
- 저자가 직접 댓글로 X(트위터) 요약 글 링크를 올렸다.
- 트랜스포머가 홉필드 네트워크처럼 한 스텝에 적절한 기억을 찾는다는 점을 좋아한다는 댓글도 있었다.

How to Apply

간섭 비율을 직접 시뮬레이션해 보기
- 오늘 30분 안에 무작위 단위 벡터 키 M개로 외적 저장소를 만들어 보자.
- M을 d_k=64 전후로 바꾸며 √(M/d_k)와 실제 회상 오차가 맞는지 확인하라.
RAG 임베딩 차원과 문서 수 관계를 점검하기
- 임베딩 차원에 비해 청크 수가 매우 많은 인덱스에서 엉뚱한 문서가 섞여 나오는지 확인하라.
- 이 글의 간섭 개념으로 오검색 원인을 가설로 세우고 검색 로그와 대조하라.
팀 스터디에서 기억 저장소 관점으로 설명하기
- 선형층, MLP, attention을 키-값 조회 하나의 틀로 그려 팀에 공유하라.
- 글의 인터랙티브 앱과 코드를 함께 열어 M을 움직이며 보여 줘라.

Try It

복사해서 바로 해보기

# Python에서 바로 실행: 간이 버전(원문 코드가 아니라 글의 수식을 직접 옮긴 시뮬레이션)
# pip install numpy
import numpy as np

d = 64
rng = np.random.default_rng(0)

for M in [8, 32, 64, 256, 1024]:
    K = rng.normal(size=(M, d))
    K /= np.linalg.norm(K, axis=1, keepdims=True)
    V = rng.normal(size=(M, d))
    V /= np.linalg.norm(V, axis=1, keepdims=True)
    W = V.T @ K
    out = W @ K[0]
    interference = np.linalg.norm(out - V[0])
    print(M, 'interference/signal =', round(interference, 2), 'vs sqrt(M/d) =', round((M / d) ** 0.5, 2))

# 이어서 해 볼 것: 키를 서로 직교하게 만들고(M<=d) 간섭이 0에 가까워지는지 확인해 보자.

Terminology

연상 기억(associative memory)주소가 아니라 비슷한 내용으로 꺼내는 저장소다. 해시맵인데 키가 정확히 같지 않아도 가장 비슷한 항목이 나오는 셈이다.

외적(outer product)벡터 두 개를 곱해 행렬 하나를 만드는 연산이다. 키-값 쌍을 표 한 장에 겹쳐 적어 넣는 도장이라고 보면 된다.

간섭 대 신호 비율원하는 값에 다른 기억이 얼마나 섞였는지를 나타낸다. 라디오에서 잡음이 방송보다 커지면 못 알아듣는 것과 같다.

직교(orthogonal)서로 전혀 영향을 주지 않는 방향이다. 키가 직교면 조회할 때 다른 기억이 섞이지 않는다.

용량(capacity)간섭이 신호만큼 커지기 전까지 저장할 수 있는 기억의 개수다.