서로 다른 언어 모델이 숫자를 비슷하게 표현하는 이유 (Convergent Evolution)
Different Language Models Learn Similar Number Representations
TL;DR Highlight
다양한 모델이 숫자를 주기 2·5·10의 파동으로 비슷하게 학습한다
Who Should Read
LLM이 숫자 계산이나 자릿수 판단에서 왜 흔들리는지 궁금한 LLM API 개발자
Core Mechanics
- 숫자는 주기 2, 5, 10 파동으로 표현된다
- 자연어로 학습한 언어 모델은 숫자를 주기(period) T=2, 5, 10인 반복 패턴 특징으로 표현한다.
- 주기 특징은 숫자를 T로 나눈 나머지(mod-T)를 구분하는 데 쓰인다.
- 구조가 달라도 같은 파동이 나타난다
- Transformer, Linear RNN, LSTM, 고전 word embedding 모두 푸리에 영역(주파수로 분해한 화면)에서 주기 T 봉우리를 보인다.
- 봉우리가 있어도 분류 가능한 건 일부다
- 일부 모델만 숫자의 mod-T를 선형 분류기(직선으로 가르는 분류)로 구분할 만큼 특징이 분리돼 있다.
- 저자들은 푸리에 영역 희소성이 분리 가능성의 필요조건이지만 충분조건은 아님을 증명했다.
- 분리 가능성은 학습 조건에 달려 있다
- 데이터, 아키텍처, 옵티마이저, 토크나이저가 모두 중요한 역할을 한다.
- 분리 가능한 특징을 얻는 길은 두 가지다
- 일반 언어 데이터의 텍스트-숫자 동시 출현과 숫자 간 상호작용 신호로 배울 수 있다.
- 여러 토큰에 걸친 덧셈 문제로도 배울 수 있지만, 단일 토큰 덧셈으로는 안 된다.
Community Reactions
- Platonic Representation Hypothesis 회의론
- 표현이 비슷하다고 객관적 현실을 배웠다는 뜻은 아니라는 의견이 있었다.
- 통계적 규칙은 배울 수 있어도 실증 검증은 따로 필요하다는 입장이다.
- 유사성의 원인을 묻는 질문
- 비슷함이 데이터에서 오는지 아키텍처에서 오는지 궁금하다는 의견이 있었다.
- 논문 초록은 데이터, 아키텍처, 옵티마이저, 토크나이저가 모두 영향을 준다고 밝힌다.
- 내장 연산 회로에 쓸 수 있다는 기대
- 호환되는 표현을 알면 모델 내부에 수학 연산 회로를 연결하기 쉬워질 수 있다는 의견이 있었다.
- 제목과 해석이 과장됐다는 지적
- 올라온 제목이 논문 제목이 아니며 내용을 과장한다는 지적이 있었다.
- 범용 문법이나 본능의 근거라는 해석에는 비약이라는 반응도 있을 수 있는 수준의 추측성 의견이었다.
How to Apply
- 숫자 판단 실패 사례를 mod-T로 분류하기
- 오늘 로그에서 LLM이 틀린 숫자 문제 20개를 뽑아 짝수 여부, 5의 배수 여부, 끝자리별로 나눠라.
- 특정 나머지 유형에서 오류가 몰리는지 표로 확인하라.
- 숫자 검증은 모델 대신 코드로 처리하기
- 짝수, 배수, 자릿수 판정처럼 결정적인 규칙은 함수 호출로 계산하라.
- LLM은 해석과 설명에만 쓰도록 분리하라.
- 숫자 토큰화 방식을 평가 항목에 넣기
- 모델을 바꿀 때 같은 덧셈 문제를 한 자리 수와 여러 자리 수로 나눠 정답률을 비교하라.
- 토크나이저 차이가 결과에 영향을 주는지 기록하라.
Try It
# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 모델 내부 분석 없이 나머지 유형별 오류만 확인)
아래 숫자 {{숫자목록}}에 대해 각각 답해 줘.
1) 2로 나눈 나머지
2) 5로 나눈 나머지
3) 10으로 나눈 나머지
표로 출력하고, 확신이 낮은 항목은 따로 표시해 줘.
그다음 파이썬 코드로 같은 값을 계산해서 네 답과 비교하고 틀린 항목만 알려 줘.Terminology
관련 논문
PHP2Shell: AI가 찾아낸 PHP 코어 RCE 취약점
Wiz가 AI로 PHP 코어의 10년 묵은 RCE를 찾아 익스플로잇까지 만들었다
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다