수천 개 대화가 LLM 내부에서 어떻게 보이는가: Qwen3-1.7B 상태 지도
What thousands of conversations look like inside a language model
TL;DR Highlight
Qwen3-1.7B 내부 상태를 시각화했더니 중국어만 영어와 확연히 떨어졌다
Who Should Read
임베딩·은닉 상태 시각화로 다국어 모델의 내부 표현을 해석해 보려는 LLM 애플리케이션 개발자
Core Mechanics
- 900개 영어 QA가 얇은 판 모양으로 보였다
- 3D 투영 안에서 최적 평면이 영어 토큰 상태 변동의 약 99.3%를 담았다.
- 하지만 2,048차원 전체에서는 3D 축이 변동의 17.6%만 담았고, 최적 2D 평면도 28.7%였다.
- 중국어는 영어와 떨어지고 독일어·크로아티아어는 겹쳤다
- 영어, 중국어, 독일어, 크로아티아어를 각 900개씩 같은 PCA 축에 올렸다.
- 독일어와 크로아티아어는 영어 근처에서 많이 겹쳤고 중국어는 눈에 띄게 떨어졌다.
- 저자는 언어별 칸막이가 있다고 단정하지 않고, 중심과 모양이 다른 겹친 영역이라고 설명한다.
- PCA 축을 어떻게 잡느냐로 그림이 달라졌다
- Global PCA에는 어휘 임베딩 151,936개가 대화 평균 3,690개와 함께 들어갔고, 어휘가 피팅 점의 약 98%였다.
- 대화 평균만으로 축을 잡은 Conversation PCA는 대화 평균 변동의 80.1%를 담았고, Global PCA는 같은 변동의 42.4%였다.
- 그 결과 독일어와 크로아티아어가 더 구분되어 보였다.
- 코드는 영어 근처에 있었지만 가장 가까운 이웃은 아니었다
- 파이썬 코딩 예제 90개가 영어 등 라틴 문자 데이터와 같은 영역에 나타났다.
- 대화 평균 거리로는 코딩 데이터가 영어보다 크로아티아어·독일어에 더 가까웠다.
- 코딩 예제에는 영어 질문이 포함돼 있어 여러 속성이 뒤섞였다.
- 점 크기와 밀도는 지식량이 아니다
- 크로아티아어 응답은 영어보다 Qwen 토큰이 훨씬 많아 점과 선이 더 많이 찍혔다.
- 더 크거나 빽빽한 영역을 곧바로 지식이나 능력으로 읽으면 안 된다고 저자는 말한다.
- 병음 실험: 평균은 가까워졌지만 짝 맞추기는 급락했다
- 중국어 900개를 병음으로 바꾸자 영어와의 평균 거리가 0.996에서 0.692로 줄었다.
- 같은 내용의 영어 사례 찾기는 중국어 한자 471/900에서 병음 28/900으로 떨어졌다.
- 평균 위치가 가깝다고 공유된 의미가 정렬된 것은 아니라는 뜻이다.
Community Reactions
- PCA에 어휘 임베딩을 넣은 게 문제라는 의견
- 어휘 임베딩은 대화 임베딩과 분리되어 있어 대화가 평면으로 눌린다는 지적이다.
- 이 임베딩을 빼면 언어 구조가 더 뚜렷했을 수 있다는 의견이다.
- 마지막 층만 보면 당연한 결과라는 반론
- 중국어 토큰 뒤에는 중국어 토큰, 라틴 토큰 뒤에는 라틴 토큰이 나오니 예상된 결과라는 의견이다.
- 중간 층에서 번역 문장이 어떻게 보이는지 보고 싶다는 의견도 있었다.
- 방법론이 부실하거나 설명이 부족하다는 의견
- 왜 3D인지, 차원 축소가 어느 단계인지, 그 평면이 의미가 있는지 묻는 의견이다.
- UMAP이나 t-SNE를 대안으로 제안한 댓글도 있었다.
- Qwen 임베딩 텍스트 지도에서 길이 효과가 컸다는 경험
- Steam 게임 리뷰를 Qwen 임베딩과 UMAP으로 지도화해 봤더니 내용보다 리뷰 길이가 위치에 더 크게 영향을 줬다는 경험이다.
- 올해는 이 길이 아티팩트를 고치는 데 대부분의 시간을 썼다고 한다.
How to Apply
- 내 임베딩 지도에서 텍스트 길이 효과부터 확인하기
- 임베딩을 UMAP이나 PCA로 시각화할 때 점 색을 텍스트 길이로 칠해 보라.
- 군집이 주제가 아니라 길이를 따라 나뉘면 길이를 맞춰 샘플링하라.
- PCA 축을 맞추는 데이터를 명시하고 두 방식 비교하기
- 어휘나 전체 토큰 대신 대화 평균만으로 축을 잡은 버전을 따로 만들어라.
- 두 그림에서 설명 분산 비율을 함께 기록하라.
- 다국어 검색은 평균 거리 대신 짝 맞추기로 평가하기
- 같은 내용의 다국어 쌍을 만들어 상대 언어 후보 중 짝을 찾는 정확도를 재라.
- 평균 거리는 보조 지표로만 쓰라.
Try It
# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 코드 실행 없이 분석 설계 점검)
나는 다국어 임베딩 지도를 PCA로 시각화하려 한다. 아래 설정에서 해석상 위험한 점을 점검해 줘.
데이터: {{언어와 샘플 수}}
임베딩 모델: {{모델명}}
축소 방법: {{PCA/UMAP 등과 입력 데이터}}
다음을 답해 줘:
1. 텍스트 길이, 문자 체계, 토큰 수가 결과에 섞일 수 있는 경로
2. 평균 거리 대신 쓸 수 있는 짝 맞추기 평가 설계
3. PCA 축을 어떤 데이터로 맞출지 비교 실험 계획
이어서 해 볼 것: 위 계획에서 통제해야 할 변수 하나를 골라 실제 데이터로 먼저 확인해 봐.Terminology
관련 논문
Claude는 대규모 단백질 서열로 학습됐다: next-amino-acid 테스트 결과
연구가 안 된 단백질의 다음 아미노산을 맞히자 최신 Claude만 통했다
짧게 기억됐다: 저장된 선호가 의사결정에 필수적인 정보를 조용히 지운다
메모리에 '짧게' 선호가 저장되면 경고가 조용히 빠지고, 2단계 답변이 내용을 되살렸다
AI가 생성한 코드는 전부 오픈소스여야 한다는 주장
AI가 쓴 코드는 오픈소스로 공개해야 한다는 주장에 HN 댓글은 대체로 반대했다
AI로 코드는 빨라졌는데 왜 배포는 안 빨라질까: 활동과 성과의 간극
AI가 코드 작성은 빠르게 했지만 배포 속도는 그만큼 오르지 않았다는 발표
LLM 16종이 TIS-100 퍼즐을 풀었다: 커뮤니티 기록을 깬 모델들
LLM 16종에 TIS-100을 풀게 했더니 18개 퍼즐에서 새 최적점 133개가 나왔다
AI가 만든 코드베이스는 왜 쉽게 깨지는가
AI로 코드를 100% 생성했더니 얕은 테스트·복잡한 코드·이해 부족이 쌓인다는 경험담
통과했지만 틀렸다: API 마이그레이션 후 LLM 코드 수리의 조용한 실패
릴리스 노트 기반 엣지 입력 하나로 틀린 수리 통과율이 0.410에서 0.065로 줄었다
노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다