'Astra가 가중치를 읽고 써서 Qwen을 개선했다'는 글은 오해를 부른다

The 'Astra can read and write weights to improve Qwen' post is misleading

Nov 3, 2026•syllogism•View Original

TL;DR Highlight

Qwen 개선은 가중치만 본 게 아니라 Python 코드와 모델 실행을 썼다

Who Should Read

LLM이 모델 가중치를 직접 고쳐 성능을 올렸다는 소식을 보고 실무 적용 가능성을 가늠하려는 개발자

Core Mechanics

'가중치만 봤다'는 실험 3개뿐
- 원시 가중치만 컨텍스트에 넣고 도구·실행 없이 푼 건 실험 1, 2, 4다.
- 대상은 17K~172K 가중치짜리 작은 네트워크다.
실제 언어 모델 실험은 전부 Python 사용
- 언어 모델이 나오는 실험은 모두 Python 코드를 쓴다.
- 헤드라인인 Qwen 실험은 연습 문제 최대 50배치로 모델도 돌렸다.
Qwen 수치는 7.9%에서 48.1%
- Qwen3.5-0.8B의 MATH-500이 같은 샘플링 설정에서 7.9%에서 48.1%로 올랐다.
- 가중치의 0.016%를 고쳤고 IFEval은 3배가 됐다.
Gemma 3 270M에서는 실패
- 아첨하는 Gemma를 찾는 실험은 Python만 쓰면 실패했다.
- 어텐션 패턴을 보여주면 3/3으로 맞혔다.
- Qwen과 같은 수학 개선을 Gemma에 적용한 실험도 실패했다.
보여준 건 ML 엔지니어 일을 시킬 수 있다는 점
- 사람 ML 엔지니어도 코드로 가중치를 분석하고 수정한다.
- 이를 잘 해내는 건 의미 있지만 하나의 기법으로 둘 다 해낸 건 아니다.
게임 네트워크 결과에도 단서가 붙는다
- MinAtar 실험은 PPO-500M 대비 Breakout에서만 이겼다(517 대 25).
- Seaquest는 53 대 89, Asterix는 53 대 55로 졌다.

Community Reactions

mech interp 연구자라는 댓글의 반론
- 핵심 결과는 수학 실력 향상이 아니라 추론 루프 감소라는 의견이다.
- steering vector를 만드는 건 입문 수준 interp 프로젝트로, 코드와 내부 구조를 알면 4~8시간에 할 수 있다는 의견이다.
Neel Nanda 인용 댓글
- 오싹한 능력이 아니라 옛날식 mech interp 연구를 잘한다는 평가라는 인용이다.
- 2022년경까지 흔하던 분석이라 실제 LLM으로 확장되긴 어렵다는 의견도 있다.
직접 써 봤더니 쓸 만했다는 경험
- 17M 리랭커를 영(0) 가중치에서 Astra로 만들어 68M 모델을 대체했다는 경험이다.
- 스타일러스 도구 인식 정확도가 88%에서 96%로 올랐다고 한다.
원문이 이미 다 밝혔다는 반박
- 원 글에 같은 내용이 설명돼 있어 오해라 보기 어렵다는 의견이다.
- 오해는 글이 아니라 온라인 클릭 유도 글이 만들었다는 의견도 있다.

How to Apply

오늘 직접 만든 소형 모델의 루프 원인 물어보기
- 반복 출력 같은 문제가 있는 모델 하나를 골라 Claude Code에 가중치와 실패 샘플을 주고 원인 분석을 시키자.
- 아래 프롬프트로 시작하자.
AI 연구 주장은 실험 표부터 확인하기
- 헤드라인 조건을 실험별로 나누어 도구 사용, 모델 실행, 대상 크기를 표로 정리하자.
- 같은 조건에서 다른 모델에도 통했는지 확인하자.
소형 모델은 학습 대신 가중치 수정으로 시도하기
- GPU 학습이 부담스러운 작은 분류·리랭커 모델에서 에이전트에 가중치 편집을 맡겨보자.
- 수정 전후를 같은 평가셋으로 비교하자.

Try It

복사해서 바로 해보기

# Claude Code에 붙여넣기 (원문 방법의 간이 버전: 코드 실행으로 모델 분석)

너는 ML 엔지니어다. 내 모델은 {{모델 경로}}이고, 문제는 {{예: 추론이 끝나지 않고 반복됨}}이다.
실패 샘플은 {{실패 출력 파일}}에 있다.

Python 코드를 직접 짜서 다음을 진행해라.
1. 정상 출력과 실패 출력을 대조 분석해라.
2. 원인으로 의심되는 레이어나 방향을 찾아라.
3. 가중치를 얼마나 바꿀지 제안해라.
4. 수정 전후 지표는 {{평가셋}}으로 비교해라.

이어서 해 볼 것: 수정한 가중치의 비율과 부작용을 보고서로 받아라.

Terminology

PPO강화학습 알고리즘 중 하나다. 게임 AI를 시행착오로 훈련시킬 때 쓰는 기본 도구라고 보면 된다.

steering vector모델 내부에 특정 방향의 벡터를 더해 행동을 한쪽으로 밀어주는 방법이다. 자동차 핸들을 살짝 꺾는 것과 비슷하다.

mech interp모델 내부 회로를 뜯어 보며 동작 원리를 밝히는 연구 분야다. 디버거로 프로그램 내부를 들여다보는 것과 비슷하다.

contrastive analysis좋은 출력과 나쁜 출력을 비교해 차이를 만드는 내부 요인을 찾는 분석법이다.

MATH-500수학 문제 500개로 구성된 벤치마크다. 모델의 수학 풀이 정답률을 잰다.

Related Resources

'Astra가 가중치를 읽고 써서 Qwen을 개선했다'는 글은 오해를 부른다

The 'Astra can read and write weights to improve Qwen' post is misleading

Nov 3, 2026•syllogism•View Original

TL;DR Highlight

Qwen 개선은 가중치만 본 게 아니라 Python 코드와 모델 실행을 썼다

Who Should Read

LLM이 모델 가중치를 직접 고쳐 성능을 올렸다는 소식을 보고 실무 적용 가능성을 가늠하려는 개발자

Core Mechanics

'가중치만 봤다'는 실험 3개뿐
- 원시 가중치만 컨텍스트에 넣고 도구·실행 없이 푼 건 실험 1, 2, 4다.
- 대상은 17K~172K 가중치짜리 작은 네트워크다.
실제 언어 모델 실험은 전부 Python 사용
- 언어 모델이 나오는 실험은 모두 Python 코드를 쓴다.
- 헤드라인인 Qwen 실험은 연습 문제 최대 50배치로 모델도 돌렸다.
Qwen 수치는 7.9%에서 48.1%
- Qwen3.5-0.8B의 MATH-500이 같은 샘플링 설정에서 7.9%에서 48.1%로 올랐다.
- 가중치의 0.016%를 고쳤고 IFEval은 3배가 됐다.
Gemma 3 270M에서는 실패
- 아첨하는 Gemma를 찾는 실험은 Python만 쓰면 실패했다.
- 어텐션 패턴을 보여주면 3/3으로 맞혔다.
- Qwen과 같은 수학 개선을 Gemma에 적용한 실험도 실패했다.
보여준 건 ML 엔지니어 일을 시킬 수 있다는 점
- 사람 ML 엔지니어도 코드로 가중치를 분석하고 수정한다.
- 이를 잘 해내는 건 의미 있지만 하나의 기법으로 둘 다 해낸 건 아니다.
게임 네트워크 결과에도 단서가 붙는다
- MinAtar 실험은 PPO-500M 대비 Breakout에서만 이겼다(517 대 25).
- Seaquest는 53 대 89, Asterix는 53 대 55로 졌다.

Community Reactions

mech interp 연구자라는 댓글의 반론
- 핵심 결과는 수학 실력 향상이 아니라 추론 루프 감소라는 의견이다.
- steering vector를 만드는 건 입문 수준 interp 프로젝트로, 코드와 내부 구조를 알면 4~8시간에 할 수 있다는 의견이다.
Neel Nanda 인용 댓글
- 오싹한 능력이 아니라 옛날식 mech interp 연구를 잘한다는 평가라는 인용이다.
- 2022년경까지 흔하던 분석이라 실제 LLM으로 확장되긴 어렵다는 의견도 있다.
직접 써 봤더니 쓸 만했다는 경험
- 17M 리랭커를 영(0) 가중치에서 Astra로 만들어 68M 모델을 대체했다는 경험이다.
- 스타일러스 도구 인식 정확도가 88%에서 96%로 올랐다고 한다.
원문이 이미 다 밝혔다는 반박
- 원 글에 같은 내용이 설명돼 있어 오해라 보기 어렵다는 의견이다.
- 오해는 글이 아니라 온라인 클릭 유도 글이 만들었다는 의견도 있다.

How to Apply

오늘 직접 만든 소형 모델의 루프 원인 물어보기
- 반복 출력 같은 문제가 있는 모델 하나를 골라 Claude Code에 가중치와 실패 샘플을 주고 원인 분석을 시키자.
- 아래 프롬프트로 시작하자.
AI 연구 주장은 실험 표부터 확인하기
- 헤드라인 조건을 실험별로 나누어 도구 사용, 모델 실행, 대상 크기를 표로 정리하자.
- 같은 조건에서 다른 모델에도 통했는지 확인하자.
소형 모델은 학습 대신 가중치 수정으로 시도하기
- GPU 학습이 부담스러운 작은 분류·리랭커 모델에서 에이전트에 가중치 편집을 맡겨보자.
- 수정 전후를 같은 평가셋으로 비교하자.

Try It

복사해서 바로 해보기

# Claude Code에 붙여넣기 (원문 방법의 간이 버전: 코드 실행으로 모델 분석)

너는 ML 엔지니어다. 내 모델은 {{모델 경로}}이고, 문제는 {{예: 추론이 끝나지 않고 반복됨}}이다.
실패 샘플은 {{실패 출력 파일}}에 있다.

Python 코드를 직접 짜서 다음을 진행해라.
1. 정상 출력과 실패 출력을 대조 분석해라.
2. 원인으로 의심되는 레이어나 방향을 찾아라.
3. 가중치를 얼마나 바꿀지 제안해라.
4. 수정 전후 지표는 {{평가셋}}으로 비교해라.

이어서 해 볼 것: 수정한 가중치의 비율과 부작용을 보고서로 받아라.

Terminology

PPO강화학습 알고리즘 중 하나다. 게임 AI를 시행착오로 훈련시킬 때 쓰는 기본 도구라고 보면 된다.

steering vector모델 내부에 특정 방향의 벡터를 더해 행동을 한쪽으로 밀어주는 방법이다. 자동차 핸들을 살짝 꺾는 것과 비슷하다.

mech interp모델 내부 회로를 뜯어 보며 동작 원리를 밝히는 연구 분야다. 디버거로 프로그램 내부를 들여다보는 것과 비슷하다.

contrastive analysis좋은 출력과 나쁜 출력을 비교해 차이를 만드는 내부 요인을 찾는 분석법이다.

MATH-500수학 문제 500개로 구성된 벤치마크다. 모델의 수학 풀이 정답률을 잰다.

'Astra가 가중치를 읽고 써서 Qwen을 개선했다'는 글은 오해를 부른다

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

'Astra가 가중치를 읽고 써서 Qwen을 개선했다'는 글은 오해를 부른다

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources