Prime Agent: 스스로 개선하는 RLM 코딩 에이전트

TL;DR Highlight

IPython REPL 하나로 서브에이전트를 돌렸더니 ARC-AGI-3에서 95.5%를 기록

Who Should Read

코딩 에이전트 하네스를 직접 만들거나 서브에이전트 오케스트레이션을 고민하는 백엔드·AI 개발자

Core Mechanics

도구는 IPython 하나뿐이다
- 모델은 지속되는 IPython 커널을 유일한 도구로 쓴다.
- 서브에이전트와 기타 하네스 기능은 커널 안의 함수로 호출한다.
컨텍스트를 변수로 다룬다 (RLM)
- RLM(Recursive Language Model, 재귀 언어 모델)은 컨텍스트를 변수로, 서브에이전트 위임을 함수 호출로 취급한다.
- 긴 세션의 과거 기록도 변수에 남아 있어 접근할 수 있다고 한다.
하네스 상태를 에이전트가 직접 수정한다
- 프롬프트·서브에이전트·스킬·메모리를 에이전트가 CRUD(생성·조회·수정·삭제)할 수 있다.
- /refine이 궤적을 읽고 가장 작은 수정만 적용하며, 기본 시스템 프롬프트는 바뀌지 않는다.
- 이전 refine 기록으로 ID 단위 롤백이 된다.
서브에이전트는 비동기로 병렬 실행한다
- await rlm("작업")은 답이 아니라 자식 핸들을 바로 돌려준다.
- 결과는 agent_message.send로 돌아오고, 서브에이전트는 세션이 끝나도 유지돼 나중에 다시 메시지를 보낼 수 있다.
무인 실행용 autonomous 모드가 있다
- goal, heartbeat, autonomous 모드를 조합해 토큰 예산 안에서 오래 돌린다.

Community Reactions

하네스 없이도 충분하다는 경험
- RLM 하네스와 로컬 MCP 서버, 로깅·메모리·프로젝트 규칙을 직접 만들어 봤더니 한동안은 잘 됐다는 경험이 있다.
- 이후 파운데이션 모델이 따라잡아, 디렉터리에 .md로 컨텍스트를 저장하는 것만으로 충분해졌다고 한다.
코드 비대화와 자기개선 한계에 대한 지적
- 저장소에 1만 줄 근처 파일과 1000줄이 넘는 switch문이 있다는 비판이 있다.
- LLM으로 하네스 엔지니어링을 해 봤더니 군더더기만 늘었다는 경험도 있다.
비용과 실사용 근거에 대한 의문
- 토큰을 엄청 쓸 것이라는 의견이 있다.
- 실제 작업 사례가 없다는 반응도 있다.
- ARC-AGI-3 외 벤치마크나 일상 프로그래밍에서는 어떤지 궁금하다는 질문이 있다.
설치 방식에 대한 불만
- 홈브루 패키지가 아닌데 homebrew 디렉터리에 설치되고 제거 방법이 없다는 지적이 있다.

How to Apply

서브에이전트 병렬 위임 패턴을 프롬프트로 시험하기
- 지금 쓰는 코딩 에이전트에 아래 프롬프트를 붙여 큰 저장소를 모듈별로 나눠 요약시켜라.
- 단일 컨텍스트 결과와 품질·토큰 사용량을 비교하라.
종료 게이트 명령 붙이기
- 무인으로 돌리는 에이전트 작업에 테스트·린트 명령을 완료 조건으로 걸어라.
- 실패 출력을 에이전트에게 돌려주고 최대 턴·토큰·시간 한도를 함께 둬라.
반복 실패를 메모리·스킬로 승격하는 루프 만들기
- 에이전트 실행 로그에서 반복되는 실패 패턴을 주기적으로 뽑아라.
- 시스템 프롬프트 전체가 아니라 메모 한 줄이나 스킬 하나 단위로만 수정하고 변경 이력을 남겨라.
긴 데이터는 읽지 말고 코드로 처리시키기
- 대용량 로그·문서 작업에서는 파일을 통째로 컨텍스트에 넣지 마라.
- 파이썬 도구로 필터·집계한 결과만 읽게 지시해 토큰을 아껴라.

Try It

복사해서 바로 해보기

# Claude Code나 ChatGPT(코드 실행 가능)에 붙여넣기 — 논문 방법의 간이 버전

너는 큰 입력을 직접 읽지 않고 코드로 다루는 에이전트다.
규칙:
1. {{문서 또는 디렉터리}}를 통째로 컨텍스트에 읽어 들이지 말고, 파이썬으로 파일 목록·크기·구조를 먼저 확인한다.
2. 작업을 독립적인 하위 작업으로 나눠 각각 서브에이전트(또는 별도 호출)에 위임하고, 각 결과는 요약만 받는다.
3. 중간 결과는 변수나 파일에 저장하고, 필요할 때만 다시 꺼내 본다.
4. 마지막에 통합 답변과 함께 사용한 하위 작업 목록을 보여 준다.

작업: {{질문}}

이어서 해 볼 것: 같은 작업을 통째로 읽는 방식과 비교해 답변 품질과 토큰 사용량을 적어 달라고 요청해 보세요.

Terminology

RLM (Recursive Language Model)모델이 자기 컨텍스트를 변수처럼 다루고, 하위 작업을 함수 호출처럼 자기 자신에게 위임하는 방식이다. 큰 일을 함수로 쪼개 재귀 호출하는 것과 비슷하다.

REPL코드를 한 줄씩 실행하고 결과를 바로 보는 대화형 실행 환경이다. 에이전트가 쓰는 노트북 같은 작업대다.

하네스(harness)모델을 둘러싼 프롬프트·도구·메모리·서브에이전트 같은 실행 틀이다. 모델이 일하는 작업 환경이라고 보면 된다.

PTC (Programmatic Tool-Calling)도구를 JSON 스키마로 하나씩 부르는 대신 코드 안에서 함수로 호출하는 방식이다. 반복·병렬 호출을 코드로 짤 수 있다.

Continual Harness에이전트가 실행 중 자기 하네스의 프롬프트·스킬·메모리·서브에이전트를 고쳐 나가는 구조다. 일하면서 자기 매뉴얼을 고쳐 쓰는 직원과 비슷하다.