Astra가 Qwen 가중치를 직접 읽고 고쳐 MATH-500 48.1%로
Astra can read and write weights to improve Qwen
TL;DR Highlight
LLM이 가중치를 직접 수정했더니 Qwen3.5-0.8B 수학 7.9%→48.1%
Who Should Read
작은 오픈 모델의 반복 루프나 성능 문제를 파인튜닝 없이 고쳐 보고 싶은 LLM 앱 개발자
Core Mechanics
- LLM이 가중치만 보고 용도를 맞혔다
- GPT-6 Astra는 17,253개 가중치만 보고 학습된 게임을 맞혔다.
- 게임 후보는 알려주지 않았고 Breakout은 확신도 99%였다.
- 학습 없이 처음부터 가중치를 써냈다
- MinAtar 3개 게임에서 PPO 1억 스텝 네트워크를 모두 이겼다.
- Breakout은 PPO 5억 스텝 대비 20배 점수였다.
- Qwen 반복 루프를 0.016%만 고쳤다
- Qwen3.5-0.8B의 추론 루프 문제를 가중치 0.016% 수정으로 해결했다.
- 같은 샘플링 설정에서 MATH-500이 7.9%에서 48.1%로 올랐다.
- 수학 수정이 지시 따르기까지 퍼졌다
- 같은 수정으로 IFEval이 3배 올랐다.
- 별도의 학습 루프는 쓰지 않았다.
- 고장 난 정책도 한 번에 수정했다
- Kinetix 자동차 과제에서 가중치 3.5%를 고쳤다.
- 성공률이 0%에서 100%로 올랐다(1,024 에피소드).
- 큰 네트워크는 도구와 forward pass를 허용했다
- 바둑 네트워크(1.5M 파라미터)는 Python 샌드박스를 썼다.
- forward pass 50번이면 2,000만 판 학습한 동일 크기 PPO를 이겼다.
Community Reactions
- 작은 모델에 직접 시도했지만 개선이 없었다는 경험
- 자연어→bash 명령 소형 모델의 가중치 1,920개를 Astra로 고쳐 봤다.
- grep 실수는 일부 고쳤지만 다른 명령이 깨졌다는 후기다.
- 두 결과를 섞어 과장했다는 반론
- 작은 모델 결과는 도구 없이 읽기만 한 것이라는 의견이다.
- Qwen 실험은 도구를 썼고 표준 steering vector 기법과 비슷해 보인다는 지적이다.
- Qwen 2B에 적용해 토큰 낭비를 줄였다는 경험
- 추론 시작 전 질문 반복 토큰이 약 20% 줄었다는 후기다.
- 루프는 아직 재현되지 않았다고 한다.
- 설명이 과장됐다는 의견
- 게임 추측은 입력 가중치의 얕은 패턴을 읽은 것이라는 의견이다.
- 언어 판별도 3지선다라서 의미를 과대평가했다는 지적이다.
How to Apply
- 오늘 Astra에 모델 문제 진단 맡기기
- 쓰는 소형 모델의 반복 루프 같은 증상을 한 문장으로 적는다.
- 모델 카드의 경고와 실패 샘플 몇 개를 같이 붙여 원인 후보를 묻는다.
- 수정 전후를 고정 평가셋으로 비교하기
- 가중치를 건드리기 전에 실패 사례 50개 이상을 평가셋으로 고정한다.
- 수정 후 다른 명령이나 기능이 깨졌는지도 같이 확인한다.
- 증상이 특정 부위에 모일 때만 시도하기
- 루프처럼 원인이 한 방향으로 좁혀지는 문제에만 적용한다.
- 넓은 범위의 성능 향상 목적으로는 쓰지 않는다.
Try It
# Astra, Claude 등 강한 LLM 채팅창에 붙여넣기 (논문 방법의 간이 버전: 가중치 편집 대신 원인 진단만 해 봄)
나는 소형 모델 {{모델명}}을 쓴다. 증상: {{예: 같은 문장을 반복하며 답을 끝내지 못함}}
실패 샘플:
{{실패 출력 3~5개}}
질문: 이 증상의 가능한 원인을 3가지로 나누고, 각각을 확인할 실험을 가중치 수정 없이 설계해줘. 그다음 가중치의 어느 부분을 고치면 좋을지도 가설로 말해줘.
이어서 해 볼 것: 제안된 실험 하나를 실제로 돌려 보고 결과를 다시 붙여 넣어 가설을 좁혀 보자.Terminology
관련 논문
AI 글쓰기 버릇을 학습으로 뺀 Qwen3-4B (qwen3-4b-deslop)
Qwen3-4B를 LoRA로 증류했더니 AI 문체 점수가 121에서 12.5로 떨어졌다
Dust: 역전파 없이 Transformer를 사전학습하는 방법
활성값에 토큰별 노이즈를 줬더니 역전파 없이 Transformer 사전학습이 됐다
TurboGPT: 22KiB 트랜스포머를 13초 만에 학습시키는 CUDA 프로젝트
CUDA C++로 바이트 단위 tiny GPT를 1분 안에 학습하는 오픈소스
Gemini가 만든 라벨 $9로 자기 대체 모델 GLiNER 학습시키기
Gemini 라벨 $9로 GLiNER를 튜닝해 로컬에서 F1 0.83 달성
절대 포기하지 않기(Never Give Up): LLM RL에서 어려운 문제를 풀게 만드는 방법
쉬운 문제에 쓰는 연산을 줄이고 어려운 문제를 재시도했더니 어려운 문제 성능이 올랐다
3.8B LLM을 $998로 학습해 CORE 0.384 달성하기
B200 8장으로 43시간, $998를 들여 3.8B 모델이 CORE 0.384를 기록했다
Paul Graham: "17살이면 LLM을 밑바닥부터 만들어 보겠다"
PG는 17살이면 창업 말고 LLM 밑바닥 구현부터 배우겠다고 했다
DeepSeek을 GPT-OSS에 증류해도 검열은 따라오지 않았다
DeepSeek V4 Flash로 금융 추론을 증류했더니 성능은 올랐고 검열은 안 따라왔다