노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
Qwen 3.8 27B on my laptop can interpret model weights, too
TL;DR Highlight
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다
Who Should Read
로컬 LLM이 어디까지 추론할 수 있는지 궁금한 LLM 앱 개발자
Core Mechanics
- 가중치만 보고 학습 목적을 맞힌다
- 논문은 GPT-6 Astra가 원시 가중치만 보고 네트워크가 무엇을 하도록 학습됐는지 말할 수 있다고 주장한다.
- 이를 Weight-Space Programming이라 부른다.
- 논문엔 서로 다른 주제가 섞여 있다
- 하나는 도구 없이 가중치를 읽는 능력이다.
- 다른 하나는 코드를 쥔 모델이 다른 모델을 개선하는 능력이다.
- spaCy 저자 Matthew Honnibal은 둘을 섞어 오해를 부른다고 비판했다.
- 실험은 10x10 격자 게임 4종이다
- Breakout, Pong, Pac-Man, Freeway용 강화학습 정책망 가중치를 프롬프트에 넣고 어떤 게임인지 물었다.
- 도구와 코드 실행 없이 한 번에 답하게 했다.
- 로컬 Qwen은 4개 중 3개를 맞혔다
- Pac-Man은 46분 12초에 신뢰도 72%, Pong은 1시간 4분 54초에 75%, Breakout은 52분 25초에 88%로 답했다.
- Freeway는 틀리고 Pac-Man류로 답했다.
- 로컬 실행에는 설정이 필요했다
- 17GB 모델이고 LM Studio에서 긴 컨텍스트를 설정해야 했다.
- 기본 8192 컨텍스트는 오류가 났고 타임아웃도 900초로 늘렸다.
- 저자는 과장된 해석엔 선을 긋는다
- 추론 과정은 거의 알아볼 수 없었고 숙련된 사람도 메모장으로 도달할 수 있다고 본다.
- 소스 코드 시대가 끝났다는 주장에는 동의하지 않는다.
Community Reactions
- 가중치 해석이 맞는지가 핵심이라는 의견
- 해석한다는 말과 그 해석이 정확하다는 말은 다르다는 비유 댓글이 있었다.
- 네트워크가 얕아 놀랍지 않다는 반론
- 층이 적은 네트워크라 디코딩이 어렵지 않다는 의견이 있었다.
- 직접 돌려 본 경험 공유
- 직접 만든 5x5→2x2 업스케일러 네트워크의 용도를 Qwen 3.8 27B가 코드와 숫자 실험으로 추론했다는 경험이 있었다.
- 공개 후엔 가중치를 개선해 노이즈를 줄였지만, 직접 가중치를 읽은 것이 아니라 스크립트를 짠 것이었다고 한다.
- 변경 검증 도구가 필요하다는 의견
- 모델이 다른 모델을 고치는 미래에는 업데이트를 그냥 믿지 않게 해줄 도구가 많이 필요하다는 의견이 있었다.
How to Apply
- 공개 프롬프트를 로컬 모델에 돌려보기
- 오늘 llm CLI로 논문 저장소의 Pac-Man 프롬프트를 로컬 모델에 넣고 결과를 확인하라.
- LM Studio의 컨텍스트를 길게 설정하고 타임아웃을 늘려라.
- 내 모델에서 정답 여부부터 검증하기
- 모델이 가중치나 구조를 설명하면 알려진 정답과 대조하라.
- 신뢰도 수치가 나와도 정답 확인 없이 믿지 마라.
- 도구 없는 능력과 도구 있는 능력을 분리 평가하기
- 평가 설계 때 코드 실행 허용 여부를 나눠 두 조건을 따로 측정하라.
Try It
# 터미널에 붙여넣기 (논문 저장소 공개 프롬프트, llm CLI 사용)
pip install llm llm-lmstudio
# LM Studio에서 qwen/qwen3.8-27b를 긴 컨텍스트로 로드한 뒤 실행
LMSTUDIO_TIMEOUT=900 llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt -m lmstudio/qwen/qwen3.8-27b
# 이어서 해 볼 것: breakout, pong, freeway 경로로 바꿔 돌려 보기Terminology
관련 논문
AI를 거부하는 학교는 Google 검색도 꺼진다는 논란
학교가 AI를 끄면 Google 검색도 꺼진다는 보도에 댓글이 갈렸다
'Astra가 가중치를 읽고 써서 Qwen을 개선했다'는 글은 오해를 부른다
Qwen 개선은 가중치만 본 게 아니라 Python 코드와 모델 실행을 썼다
Momentic Mo: 앱을 직접 써 보며 버그를 찾는 AI QA 에이전트
프롬프트로 앱을 탐색해 버그를 찾는 Mo, QA Bench에서 라벨 버그 약 269개 발견
Mistral Large 4 가중치 공개: 코딩·사이버보안 특화 1T 모델
Mistral이 1조 파라미터 Large 4 가중치를 공개해 오픈 코딩 벤치 선두를 주장했다
Gemini 4 Carbon, Artificial Analysis Intelligence Index v5 1위
Gemini 4 Carbon이 Index v5 59점으로 1위, 코딩 에이전트는 2위
Gemini 4 Carbon 발표: 사이버보안·장시간 에이전트 작업 특화 모델
Google이 Gemini 4 Carbon을 공개했지만 아직 일부 보안 파트너에게만 열렸다
Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가
세무 실무 50건을 맡겼더니 최고 모델도 통과율 10.8%에 그쳤다
Anthropic S-1: 상장 신청서 표지와 지배구조
Anthropic이 Nasdaq 'ANT' 상장을 위해 S-1을 제출했다