신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

TL;DR Highlight

뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

Who Should Read

LLM 내부 동작과 해석 가능성(interpretability) 연구 흐름이 궁금한 LLM 앱 개발자

Core Mechanics

superposition은 틀린 설명이었다
- 한 뉴런이 서로 무관한 개념을 겹쳐 담는다는 설명(superposition)은 InceptionV1에서 틀렸다고 한다.
- 대신 재귀적 일반화(recursive generalization)로 설명한다.
- 뉴런이 커지면서 나뭇가지처럼 인접 개념으로 뻗어 나간다는 뜻이다.
InceptionV1 마지막 층 99-100% 해석 가능
- 이전에는 마지막 층에서 해석 가능한 뉴런이 거의 없었다.
- 아키텍처를 평범하게 개선하자 모델 크기·학습 데이터 변경 없이 99-100%가 쉽게 해석됐다.
- 300배 크기 범위의 버전을 학습해도 모든 규모에서 대체로 읽힌다.
고양이·자동차 뉴런은 오독이었다
- 유명한 cat/car 뉴런은 임의의 혼합이 아니라 일반화와 조합의 결과라고 본다.
- 이 뉴런이 읽는 공통 패턴은 V 모양이었다.
- 뉴런 자체가 아니라 입력들의 공통점을 시각화해야 보인다.
Qwen3-32B 예비 감사 결과
- 뉴런 극(pole)의 약 90%는 주된 역할이 하나다.
- 약 7%는 관련된 두 역할, 2-4%만 아직 이해하지 못했다.
- 수조 파라미터 모델(Kimi K3 등)에서도 비슷한 결과였다고 한다.

Community Reactions

수치 해석에 대한 반론
- 증명된 것에 비해 주장이 과하다는 의견이 있었다.
- 점진적 특징 복잡도는 오래전부터 알려졌고 parameter overloading과 배타적이지 않다는 지적이다.
창발 속성이 숨을 수 있다는 의견
- 이해 못 한 2-4%가 창발적 인지의 핵심 허브일 수 있다는 의견이 있었다.
- 그렇다면 96-98%를 이해해도 가치가 작을 수 있다는 논지다.
ZoomIn 오류를 정정해야 한다는 의견
- dog/car 뉴런을 V 뉴런으로 잘못 본 것은 명백한 오류라는 댓글이 있었다.
- 수년간 연구를 잘못 이끌었으니 정정이나 철회 수준이라는 주장이다.
댓글 요약: #2가 방법론 오류였다
- 뉴런이 무관한 개념을 묶는다는 통념이 틀렸다는 요약이 올라왔다.
- 관련된 개념끼리 묶인다는 쪽이 맞았다는 해석이다.
분석 방식 질문과 글 난이도 평가
- 뉴런을 어떻게 분리했는지 설명이 먼저 필요하다는 지적이 있었다.
- 축에 정렬된 방향은 고전적 superposition 설명과 맞지 않는다는 의견이다.
- 읽기 어렵다는 반응과 우아하고 이해하기 쉽다는 반응이 갈렸다.

How to Apply

원문 마이크로스코프 30분 둘러보기
- already-clean.goodfire.com의 InceptionV1 microscope에서 뉴런 몇 개를 직접 열어 본다.
- 각 뉴런이 어디서 강하게 켜지는지 보고 한 줄로 역할을 적어 본다.
모델 해석 이슈를 볼 때 근거 수준 구분하기
- 해석 가능성 주장은 모델 크기·측정 기준·샘플 크기를 같이 확인한다.
- 이 글의 90% 수치는 Qwen3-32B 예비 감사임을 메모에 적는다.
내부 해석 도구 평가 시 약한 활성화 기준 명시하기
- 뉴런·특징 분석 시 강한 활성화만 볼지 약한 활성화도 포함할지 임계값을 먼저 정한다.
- 문서에는 그 기준을 적어 결과를 비교할 수 있게 한다.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 뉴런 설명 검증)

아래는 신경망 뉴런이 가장 강하게 활성화된 텍스트 예시들이다.
{{활성화 예시 목록}}

다음 순서로 답해줘.
1. 이 뉴런의 역할을 한 문장 가설로 쓴다.
2. 그 가설이 설명하지 못하는 예시를 찾는다.
3. 설명 안 되는 예시가 '다음에 올 단어 예측'이나 구두점 위치 같은 문맥 때문인지 점검한다.
4. 가설을 더 일반적인 형태로 고쳐 쓴다.

이어서 해 볼 것: 약한 활성화 예시 {{약한 활성화 목록}}도 넣고 가설이 어떻게 바뀌는지 비교해 본다.

Terminology

polysemanticity한 뉴런이 서로 무관해 보이는 여러 역할을 하는 것처럼 보이는 현상이다. 한 스위치가 불과 환풍기를 같이 켜는 느낌이다.

superposition뉴런 수가 모자랄 때 무관한 개념을 한 뉴런에 접어 넣는다는 가설이다. 이 글은 이 설명이 틀렸다고 본다.

recursive generalization뉴런이 자라면서 나뭇가지에서 곁가지가 나오듯 인접 개념으로 확장되는 패턴이다.

sparse autoencoder원래 모델을 근사하는 두 번째 모델을 학습해 특징을 풀어내는 분해 방식이다.

attribution graph어떤 뉴런이 출력에 어떤 경로로 영향을 주는지 보여주는 데이터 흐름 그래프다.