Show HN: LLM Attention 시각화 도구

Who Should Read

LLM이 왜 원문을 정확히 복사하는지 직관이 없는 LLM API·RAG 개발자

Core Mechanics

• 생성 토큰이 과거 토큰을 얼마나 참조하는지 본다
  • 생성 토큰에 마우스를 올리면 영향을 준 과거 토큰이 진하게 표시된다.
  • 값은 attention weight에 value vector 크기를 곱해 모든 head와 layer에서 합산한 것이다.
  • 가장 큰 값의 불투명도가 1이고 나머지는 보간한다.
• 정보를 한 숫자로 줄인 단순화 버전이다
  • 과거 토큰당 숫자 하나만 남기려고 많은 정보를 버렸다.
  • 작성자도 처음엔 이해하기 어려울 줄 알았지만 흥미로운 패턴이 나왔다고 한다.
• 복붙이 정확한 이유가 보인다
  • 주소나 날짜처럼 그대로 복사되는 부분에서 원본 데이터가 크게 강조된다.
  • 모델은 전체 시퀀스를 내부 상태만으로 예측하지 않고 과거 토큰에서 직접 가져온다.
  • 그래서 복사 중 오류 확률이 매우 낮을 수 있다고 설명한다.
• 6억 파라미터 모델도 함수를 복사한다
  • 'Debugging an Average Function' 예제에서 JS 함수 전체를 의도한 수정만 빼고 그대로 재현했다.
  • 다만 문제를 스스로 찾지는 못해 힌트가 필요했다.
• 두 구절의 정보를 합치는 모습도 보인다

Community Reactions

• 교육용으로 좋다는 반응
  • 강의 준비 중인 사람이 attention은 가중치 방식만으로 직관을 주기 어려운데 이 시각화가 크게 도움 된다는 의견을 냈다.
  • 책과 영상을 여러 개 봤지만 가장 명확한 예시라는 의견도 있었다.
• 재생 컨트롤이 아쉽다는 UX 지적
  • Chromium/Linux에서 pause를 누르면 일시정지 대신 초기 상태로 리셋된다는 보고가 있었다.
  • 느린 재생이나 한 토큰씩 넘기는 단계 버튼이 있으면 좋겠다는 의견이 있었다.
• 시각화 방식 자체에 대한 의문
  • value vector 크기가 크면 영향이 크다는 단순 가정이 의심스럽다는 의견이 있었다.
  • 레이어를 모두 합산하면 개수가 많은 초기 레이어 쪽에 가려질 수 있지 않느냐는 질문이 있었다.
• Bertviz와 비교하는 의견
  • 추론을 이해하기엔 Bertviz보다 단순해서 입문자에게 좋다는 의견이 있었다.

How to Apply

• 프롬프트 복사 지시를 명시해 보기
  • 오늘 30분 안에 시각화 페이지에서 복사되는 구간과 요약되는 구간을 비교해 본다.
  • 정확히 옮겨야 하는 값(주소, 날짜, ID)은 입력에 두고 '원문 그대로 인용하라'고 지시한다.
• 정확한 값은 컨텍스트에 직접 넣기
  • RAG에서 숫자나 코드처럼 틀리면 안 되는 정보는 요약하지 말고 원문 청크를 그대로 넣는다.
  • 모델이 과거 토큰에서 직접 가져올 수 있게 한다.
• 내부 시각화가 필요하면 repo 참고해 직접 계측하기
  • 브라우저 데모를 만들려면 GitHub repo의 onnx 수정 방식을 확인한다.
  • 일반 onnx 모델은 내부 값이 노출되지 않으니 계측한 모델을 따로 호스팅한다.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 복사 정확도 점검)

아래 {{문서}}를 읽고 {{질문}}에 답해줘.

규칙:
1. 주소, 날짜, 숫자, ID는 문서에서 글자 그대로 복사해 따옴표로 인용할 것.
2. 여러 문장을 합쳐 추론한 부분은 어떤 문장들을 합쳤는지 표시할 것.

[문서]
{{문서}}

[질문]
{{질문}}

이어서 해 볼 것: 답변의 인용 부분이 원문과 한 글자도 다르지 않은지 대조해 보자.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://ishamf.dev/p/llm-attention-visualizer/