RL로 '모델을 RL로 학습시키는 에이전트'를 약 $1.3k에 학습시킨 프로젝트

Who Should Read

에이전트에 보상을 주며 개선하는 방법이나 소형 모델 학습 자동화의 실제 비용이 궁금한 백엔드·ML 플랫폼 개발자

Core Mechanics

• 에이전트가 학습 잡을 직접 짠다
  • 에이전트가 학습 과제를 받아 환경·보상·데이터셋·하이퍼파라미터를 담은 prime-rl 학습 잡을 통째로 작성한다.
  • 작성한 잡은 Runpod GPU에서 작은 Qwen3-0.6B/1.7B 모델을 GRPO로 학습시킨다.
• RL 루프가 두 겹이다
  • 바깥 루프는 Qwen3.6-35B-A3B(LoRA) 에이전트를 Tinker로 학습시킨다.
  • 안쪽 루프의 숨겨진 평가 점수 향상이 바깥 루프의 보상이 된다.
• 보상이 두 단계로 올랐다
  • 54 스텝 동안 보상이 ~0.0에서 ~0.63 최고치까지 올랐다.
  • 초반 상승은 검증 실패와 GPU에서 죽는 잡을 줄인 덕분이다.
  • 이후에는 잡 점수가 0.30에서 0.41로 올랐고, 학습된 모델의 숨김 평가 점수는 ~0.04에서 0.22~0.48이 됐다.
• 학습하지 않은 과제 유형에도 일부 통했다
  • 학습에 쓰지 않은 triage 과제의 평균 보상이 0 스텝 0.399에서 34 스텝 0.545로 올랐다.
  • 54 스텝에서는 0.492로 내려와 상승 뒤 정체된 모습이다.
• 에이전트가 더 큰 베이스 모델을 고르게 됐다
  • 초기에는 79개 에피소드 중 77개가 약한 0.6B 모델을 골랐다.

Community Reactions

• 보상 해킹이 걱정된다는 의견
  • 에이전트가 일반 능력 대신 평가 분포가 새는 학습 데이터를 쓰는 식으로 숨김 평가를 속일 수 있지 않느냐는 질문이 나왔다.
• 바이브 코딩한 RL 시스템은 이해하기 어렵다는 비판
  • 복잡한 RL 시스템을 바이브 코딩하면 무엇을 벤치마크하는지, 언제 깨지는지 알 수 없다는 의견이 있었다.
  • 한계와 실패 지점을 설명해 달라는 요청도 있었다.
• 재귀 학습의 퇴화를 묻는 질문
  • 재귀적으로 학습한 모델이 몇 세대 뒤 퇴화하지 않을지 궁금하다는 의견이 있었다.
• 이미 에이전트가 학습 파이프라인을 짠다는 반응
  • 에이전트가 이미 딥러닝 학습 파이프라인을 만들어 주니 이 프로젝트의 장점이 추가 컴퓨트 접근 틀이냐는 질문이 있었다.

How to Apply

• 에이전트 보상을 단계별로 쪼개 기록하기
  • 오늘 에이전트 평가 로그에서 검증 통과율·작업 성공·최종 품질 점수를 따로 집계하라.
  • 어느 단계가 병목인지 보고 개선 순서를 정하라.
• 에이전트에 기준선 조회 도구 추가하기
  • 에이전트가 모델·설정을 고르는 구조라면 기준 모델 점수를 읽는 도구를 함수 호출로 열어라.
  • 절대 점수보다 기준 대비 향상폭으로 채점하라.
• 학습 잡 호출에 비용 장부 남기기
  • LLM 호출마다 토큰과 USD를 JSONL에 기록하고 에피소드별 예산 상한을 걸어라.
  • 배치 단위 총비용을 확인하라.
• 보류 평가용 과제군 따로 두기
  • 에이전트 개선 실험 때 학습에 쓰지 않는 과제군을 하나 빼서 일반화 점검용으로 써라.

Try It

# 터미널에서 실행 (uv와 OPENROUTER_API_KEY 필요, 원문 README의 오프라인 테스트 + 에피소드 1회 실행)

git clone https://github.com/Danau5tin/ai-trains-ai
cd ai-trains-ai

# .env에 OPENROUTER_API_KEY=... 를 넣는다
uv sync
uv run pytest

# 프런티어 에이전트로 에피소드 하나 실행
uv run at-episode --task examples/tasks/calc_chain_v1_fast.json --model qwen3.6-27b

# 이어서 해 볼 것: runs/<run_id>/ 에 저장된 trajectory와 workspace를 열어 에이전트가 쓴 학습 잡을 읽어 보기

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://github.com/Danau5tin/ai-trains-ai
• https://huggingface.co/Danau5tin/ai-trains-ai-trainer