AI가 AI를 후학습할 때 빠진 것: 전략을 바꾸겠다는 결정

Who Should Read

Claude Code·Codex 같은 코딩 에이전트에 장시간 실험·파인튜닝 작업을 맡기는데 같은 방식만 반복해 답답한 개발자

Core Mechanics

• 에이전트는 실행 담당으로는 믿을 만하다
  • 1,338개 궤적에서 모두 전체 파이프라인을 끝내고 모든 벤치마크에서 베이스 모델보다 올랐다.
  • 버그 수정, 하이퍼파라미터 튜닝, 데이터 포맷 수정은 잘한다.
• 전략은 첫 시도에서 굳어진다
  • Claude Code는 주로 전체 파라미터 SFT(지도 미세조정)로 시작하고, Codex CLI는 주로 PEFT(일부 파라미터만 학습)로 시작한다.
  • 기본 전략은 과제가 아니라 에이전트를 따라간다.
• 경험을 줘도 전략은 안 바뀐다
  • 실험 일지, 스킬 라이브러리, 평가 에이전트를 붙이니 실행은 좋아졌다.
  • 평가 에이전트의 실행 제안 22개는 모두 채택했지만 전략 제안 21개는 하나도 채택하지 않았다.
• 토큰을 더 써도 다듬기만 한다
  • 쉬운 과제는 초반에 대부분 오르고 이후 효과가 작다.
  • AIME 2025에서는 약 14M 토큰을 더 써도 문제 하나 더 푸는 정도였다.
• 사람의 중간 지시 한 번이 효과가 크다
  • 학습 전 사람 리뷰는 어떤 전략에 갇힐지만 바꾸고 갇히는 것 자체는 못 막는다.
  • 학습 중간에 '전략 바꿔' 한 번 지시하니 같은 예산에서 에이전트 자체 진행보다 점수가 높았다.

Evidence

• 전략 전환은 거의 없다
  • 인접 학습 쌍 3,557개 중 전략이 바뀐 것은 74개(2.1%)다.
  • 에이전트별로 Claude Code 4.5%, Codex CLI 1.6%, OpenCode 0.4%다.
• 경험 프레임워크로 실행은 개선됐다
  • Qwen3-1.7B-Base 기준 공식 instruct 모델과의 격차를 75.1% 좁혔고, 같은 에이전트 자율 실행은 48.6%다.
  • 평가 에이전트를 빼면 56.8%로 떨어진다.
• 중간 지시로 전략을 바꾸니 점수가 올랐다
  • 같은 체크포인트에서 포크해 비교하면 GSM8K 47.76%→65.20%(+17.44pp)다.
  • HumanEval은 52.0%→62.8%(+10.8)이고, AIME 2025는 0/30→2/30(pass@8)이다.
• 재고 요청만으로는 안 바뀐다
  • 재고 포크의 GSM8K는 48.0%로 기존 47.76%와 거의 같다.
  • HumanEval은 31.7%로 기존 52.0%보다 낮고, 3개 포크 모두 SFT를 유지했다.

How to Apply

• 평가 직후 '계속/전환' 질문을 넣기
  • 오늘 에이전트 시스템 프롬프트에 평가 결과가 나올 때마다 '계속할지 다른 방식으로 전환할지'를 명시적으로 답하라고 적어라.
  • 답에는 근거와 구체적인 대안 한 가지를 요구하라.
• 정체 구간에서 사람이 대안을 지목하기
  • 같은 방식으로 3~5회 실험해도 점수가 안 오르면 직접 끼어들어라.
  • '다시 생각해봐' 대신 'SFT 대신 GRPO로 전환' 같이 구체적인 대안을 써라.
• 에이전트의 전략 제안 채택 여부 기록하기
  • 평가 에이전트나 로그의 제안을 실행형과 전략형으로 나누어 채택 건수를 세어라.
  • 전략형 채택이 0이면 정체 시 사람 개입 지점을 설계하라.
• 분기 실험으로 전략 비교하기
  • 중간 체크포인트에서 포크해 '계속'과 '전환' 두 갈래를 같은 예산으로 돌려 비교하라.
  • 점수만 보지 말고 전략 전환 횟수도 함께 기록하라.

Try It

# Claude Code 또는 에이전트 시스템 프롬프트 맨 끝에 붙여넣기 (논문 방법의 간이 버전)

## 전략 점검 규칙
매 평가가 끝난 뒤, 다음 작업 전에 반드시 아래 형식으로 답한다.
1. 현재 전략: {{예: 전체 SFT}}
2. 최근 3회 점수 변화: {{점수 나열}}
3. 결정: CONTINUE 또는 SWITCH
4. SWITCH라면 구체적 대안 하나(알고리즘·데이터 출처·학습 단계 중 무엇을 바꾸는지)와 근거
5. CONTINUE라면 점수가 더 오를 근거를 한 문장으로

점수 개선이 2회 연속 {{기준, 예: 1점}} 미만이면 SWITCH를 우선 검토한다.

이어서 해 볼 것: 같은 체크포인트에서 이 규칙을 넣은 갈래와 넣지 않은 갈래를 같은 예산으로 돌려 점수를 비교해 보기.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓