Chained Recursive Language Models: 새 컨텍스트로 이어 풀기
Chained Recursive Language Models for Multi-Iteration Reasoning
TL;DR Highlight
같은 모델을 새 컨텍스트로 여러 번 이어 호출했더니 긴 문서 정확도가 올랐다
Who Should Read
긴 문서에서 집계·카운팅·순서 추출을 시키면 답이 자꾸 틀려 고민인 LLM 에이전트 개발자
Core Mechanics
- 한 번에 다 풀지 말고 이어서 푼다
- 같은 모델을 여러 번(root) 새로 호출하고, 각 root는 원문과 요약·메모만 받는다.
- 이전 대화 기록은 기본으로 넘기지 않는다.
- 넘기는 건 평문 세 가지뿐
- 요약(SUMMARY), 칠판(BLACKBOARD), 다음 할 일(NEXT)을 평문으로 넘긴다.
- JSON·XML·YAML 같은 파싱 형식은 쓰지 않는다.
- 중간 결과를 파일(artifact)로 남긴다
- 예를 들어 카운팅이면 후보 이벤트를 한 줄씩 적은 장부를 만든다.
- 다음 root가 장부를 고치고 검증한 뒤 최종 답을 낸다.
- 새 root가 앞선 실수를 다시 본다
- 한 번의 흐름에서는 이미 쓴 결론을 계속 믿기 쉽다.
- 새 root는 그 결론을 외부 파일처럼 다시 읽고 점검한다.
- 어려운 과제일수록 이득이 크다
- 단순 검색형인 RULER는 이득이 작았다.
- 증거를 모아 집계해야 하는 OOLONG-real에서 가장 컸다.
Evidence
- 벤치마크 정확도 (GPT-5-mini, 일반 LLM 대비)
- RULER 87%→92%, BABILong 44%→59%.
- LongBench v2 41%→52%, OOLONG-real 14%→38%.
- 평균 정확도 이득
- 네 벤치마크 평균 절대 +13.75%p.
- 평균 비용 (일반 LLM 대비)
- 작업당 $0.125→$0.315.
- 평균 root 호출 1.0→2.6회, 입력 48.8k→98.8k 토큰, 출력 5.8k→21.8k 토큰.
- OOLONG-real 비용
- 작업당 $0.14→$0.44, root 호출 3.4회, 핸드오프 2.4회.
How to Apply
- 긴 문서 작업에 2단계 프롬프트 돌려보기
- 1단계는 후보 장부만 만들게 하고, 2단계는 새 대화에서 원문과 장부로 검증·집계시켜라.
- 아래 codeExample을 그대로 붙여넣어 시작하라.
- 핸드오프 형식을 SUMMARY/BLACKBOARD/NEXT 평문으로 고정하기
- 에이전트 루프에서 단계 사이에 넘기는 상태를 이 세 칸으로 줄여라.
- JSON 파서 없이 다음 호출 프롬프트에 그대로 붙여라.
- 체이닝은 어려운 과제에만 켜기
- 검색형 질문은 단일 호출로 처리하라.
- 집계·카운팅·다중 근거 질문만 체인으로 보내라.
- 최대 root 수와 비용을 같이 기록하기
- 체인 길이 상한(R)을 정하고 마지막 root는 최선의 답을 내도록 강제하라.
- 작업당 토큰·비용을 단일 호출과 비교해 이득을 따져라.
Try It
# Claude/ChatGPT 새 대화에 붙여넣기 (논문 방법의 간이 버전: 2 root 수동 체인)
[1단계: Root 0]
너는 긴 문서 작업의 첫 번째 root다. 아래 문서에서 질문에 필요한 후보 항목을 한 줄씩 뽑아 탭으로 구분한 장부(ledger.tsv)로 만들어라. JSON·마크다운 표·코드펜스는 쓰지 마라. 답은 아직 내지 마라.
마지막에 아래 형식으로 핸드오프하라.
HANDOFF:
SUMMARY: 한 일과 현재 믿는 것
BLACKBOARD: 확인된 사실, 가정, 열린 질문
NEXT: 다음 root가 무엇을 점검해야 하는지
문서: {{문서}}
질문: {{질문}}
[2단계: 새 대화에서 Root 1]
너는 같은 작업의 새 root다. 이전 대화는 없다. 아래 원문과 장부, 핸드오프만 있다. 장부의 구조는 유지하고 정의 오류·중복·누락을 고쳐라. 무엇을 바꿨는지 적고, 고친 장부로 다시 집계해 FINAL: <답>으로 끝내라.
문서: {{문서}}
질문: {{질문}}
장부: {{1단계 장부}}
핸드오프: {{1단계 핸드오프}}
이어서 해 볼 것: 같은 질문을 한 번에 풀게 한 답과 비교해 보라.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Original Abstract (Expand)
Long context reasoning in large language models (LLMs) is usually constrained by the fact that a single inference trajectory has to simultaneously explore the context, store intermediate state, verify evidence, and produce the final answer. This becomes particularly difficult in tasks that require extraction, counting, ordering, or multi-hop reasoning, where an early mistake can propagate until the final response. In this work, we propose Chained Recursive Language Models (Chained RLM), an inference-time architecture, in which the same underlying model is called repeatedly as a sequence of fresh reasoning roots. Each root receives the original problem and context, but does not inherit the full conversational history. Instead, it receives a compact plain-text summary, a plain-text blackboard, and some durable task-specific artifacts written by predecessor roots. The motivation is to manage the context by chopping into partial tasks rather than one large inference response; in each staged computation, intermediate artifacts can be inspected, corrected, and extended by a later fresh inference by the same model. We describe the system model, handoff mechanism, artifact workspace, and evaluation protocol for this system. We study when fresh-context artifact continuation gives a measurable gain in accuracy over direct LLM answering even with recursive tool-calling.