리뷰 코멘트를 규칙으로 쌓아 스스로 나아지는 AI 코딩 에이전트
Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework
TL;DR Highlight
리뷰 코멘트를 AGENTS.md 규칙으로 쌓았더니 9개 오류 유형이 재발 0건
Who Should Read
AI 코딩 에이전트가 같은 실수를 세션마다 반복해 PR 리뷰 부담이 커진 팀의 백엔드 개발자
Core Mechanics
- 리뷰 코멘트 하나가 규칙 하나
- 리뷰어가 받아들인 코멘트 중 일회성이 아닌 실수 유형만 지침 파일에 규칙으로 추가한다.
- 모델 가중치는 건드리지 않고 버전 관리되는 Markdown 파일만 쓴다.
- 제출 전 셀프 리뷰 체크리스트
- 에이전트가 코드를 내놓기 전에 체크리스트를 먼저 돌린다.
- 규칙은 체크리스트 항목과 연결된다.
- 규칙은 구체적일수록 잘 지켜졌다
- 초기 규칙은 두루뭉술했고 나중 규칙은 정확했다.
- 구체적이고 실행 가능한 규칙이 일반 지침보다 더 안정적으로 지켜졌다.
- 규칙끼리 충돌할 수 있다
- 'IDisposable은 using 필수' 규칙과 'Factory HttpClient는 dispose 금지' 규칙이 부딪혔다.
- 앞 규칙에 적용 범위를 붙여 해결했다.
- 도구가 달라도 같은 파일이면 효과가 전이
- IDE 에이전트와 터미널 에이전트가 같은 지침 파일을 읽었다.
- 한쪽에서 추가한 규칙이 다른 쪽 세션에서 바로 효과를 냈다.
Evidence
- 재발 0건
- 9개 오류 유형, 규칙 추가 후 세션 74회 노출에서 재발이 없었다.
- 대조군 없는 관찰 결과다.
- 리뷰 코멘트 분포 변화
- 36개 PR(6개 레포)에서 아키텍처·API 설계·성능 코멘트가 66%였다.
- 기계적 정확성과 스타일 코멘트는 14%였다.
- 규칙 세트 성장
- 4주 동안 행동 규칙 5개에서 18개, 코드 표준 15개 이상, 체크리스트 15항목이 됐다.
- 지침 파일은 약 4,809단어(약 6,250토큰)로 128K 컨텍스트의 5% 미만이었다.
- 규칙 구체성 비율 상승
- 구체적 규칙 비율이 1주차 0.60에서 3~4주차 0.78로 올랐다.
- 지식 전이 15건 중 9건(60%)이 레포나 도구 경계를 넘었다.
How to Apply
- 오늘 AGENTS.md에 실수 규칙 3개 넣기
- 최근 PR에서 에이전트가 반복한 실수 3개를 골라 '금지/필수 + 이유' 한 줄로 적는다.
- 파일을 에이전트의 시스템 컨텍스트로 로드되게 레포 루트에 둔다.
- PR 템플릿에 규칙 승격 항목 추가
- 리뷰어가 받아들인 코멘트가 다른 곳에서도 재발할 수 있으면 같은 PR에서 규칙을 추가하게 한다.
- 어려우면 후속 이슈를 등록하게 한다.
- 셀프 리뷰 체크리스트를 규칙과 연결
- 지침 파일에 번호 붙은 체크리스트를 두고 코드 제출 전에 실행하도록 지시한다.
- 각 규칙에 체크리스트 항목 번호를 적는다.
- CI에 지침 파일 검증 스크립트 추가
- 필수 섹션 존재와 규칙 형식(ID, 범위, 근거)을 확인하는 스크립트를 pre-commit이나 CI에 둔다.
- 지침 파일 변경도 코드처럼 PR 리뷰를 거치게 한다.
Try It
# Claude·ChatGPT·Claude Code에 붙여넣기 (논문 방법의 간이 버전)
아래는 우리 팀 코드 리뷰에서 받아들여진 코멘트들이다.
{{리뷰 코멘트 목록}}
각 코멘트에 대해 다음을 해 줘.
1. 일회성 오타인지, 다른 맥락에서도 재발할 실수 유형인지 판단한다.
2. 재발할 유형이면 AGENTS.md에 넣을 규칙을 아래 형식으로 쓴다.
- Rule ID / Category / Scope / Constraint(구체적 금지·필수 한 줄) / Rationale / Checklist Map
3. 기존 규칙 {{기존 AGENTS.md}}과 충돌하거나 겹치면 어떻게 고칠지 적는다.
4. 마지막에 코드 제출 전에 돌릴 셀프 리뷰 체크리스트 항목을 규칙별로 한 줄씩 만든다.
이어서 해 볼 것: 만든 AGENTS.md를 다음 작업 세션에 로드하고, 같은 실수가 반복되는지 확인해 보자.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓
Original Abstract (Expand)
LLM-based coding agents repeat the same classes of mistakes across sessions because they lack a mechanism to retain corrections from human review feedback. We present a closed-loop framework in which every accepted review comment is codified as a persistent behavioral rule, progressively expanding the set of error classes the agent can self-detect. The framework combines an accumulating rule set in a version-controlled instruction file, a self-review checklist executed before code submission, and automated validation that ensures rule set integrity as it grows. In deployment across a 35+ service microservices platform, the rule set grew from 5 to 18 behavioral rules, 15+ language-specific standards, and a 15-item self-review checklist, all derived from real review feedback. We present empirical results from 11 recorded working sessions spanning code generation, PR review, incident investigation, and cross service refactoring. We observe that accumulated rules shift review effort from low-level correctness toward design-level validation, achieve a measured 0% recurrence rate for ruled-against error classes, and transfer across heterogeneous agent interfaces. We compare our approach against related work in experiential LLM learning (Reflexion, ExpeL, Voyager) and automated code review (CodeReviewer, SWE-bench agents), showing that our framework achieves persistent cross-session learning without weight updates, operates on production codebases rather than synthetic benchmarks, and addresses an orthogonal dimension (behavioral consistency over time) that existing benchmarks do not measure. The result is a coding agent that improves with every review cycle, accumulating the engineering wisdom of its human collaborators without changing a single model weight.