Warp가 Claude로 스스로 개선하는 에이전트를 만든 방법

Who Should Read

코드 리뷰·이슈 분류 에이전트가 쓸데없는 코멘트를 달아 피드백을 반영할 방법을 찾는 백엔드 개발자

Core Mechanics

• 피드백은 세션이 끝나면 사라진다
  • Warp 내부 코드 리뷰 에이전트는 엔지니어들에게 쓸모없는 코멘트를 달아 불만을 샀다.
  • 프롬프트를 수동으로 고치거나 AGENTS.md를 개선해 봤지만 확실한 해결책은 아니었다.
  • 근본 원인은 에이전트에 준 피드백이 세션 종료와 함께 사라진다는 점이었다.
• skill 두 개로 루프를 만든다
  • base(inner) skill에는 도메인 지식과 지시가 들어간다.
  • improver(outer) skill은 스케줄로 돌며 쌓인 사람 피드백을 모아 base skill을 작게 고치자고 제안한다.
  • skill은 프롬프트 밖에 두는 파일 기반 지식이다.
• 개선은 PR로 들어간다
  • skill이 일반 파일이라 에이전트가 수정하기 쉽다.
  • 수정은 PR 리뷰·승인·머지를 거치고, 머지되면 다음 실행부터 반영된다.
  • 마지막 사람 승인 단계가 루프를 닫고 통제권을 유지한다.
• 이슈 트리아지 에이전트 사례
  • 새 GitHub 이슈가 열리면 GitHub Action이 에이전트를 띄워 복잡도·실현 가능성 분석, 라벨 지정, 해결 방향 제안을 한다.
  • 에이전트가 ready to spec 라벨을 놓치자 메인테이너가 이슈에 이유까지 적어 피드백을 남겼다.
  • Oz에서 도는 improver가 GitHub 피드백을 모아 JSON으로 요약하고 inner skill을 고치는 PR을 열었다.

Community Reactions

• 자기 수정 루프의 위험 통제가 부족하다는 의견
  • 에이전트가 자기 지시를 고치는 건 추가 통제가 필요한 위험 구간인데 글이 이를 충분히 강조하지 않는다는 의견이 있었다.
  • PR 승인도 프롬프트 인젝션 방어보다 좋은 아이디어인지 확인하는 데 초점이 있다는 지적이 있었다.
• 결정적 동작을 보장하지 못한다는 반론
  • 사람 개입과 원칙 중심 작성법은 보장이 없어 결정적 워크플로우에 쓰기 어렵다는 의견이 있었다.
  • skill은 에이전트가 언제든 무시할 수 있는 마크다운이라는 냉소도 있었다.
• 비슷한 방식을 로컬에서 써 봤다는 경험
  • 사람 리뷰어의 타당한 지적을 에이전트가 놓쳤을 때 리뷰 skill을 갱신하게 해 봤다는 경험이 있었다.
  • CLAUDE.md로 모든 결정을 로그에 남기게 하고 그걸로 에이전트가 반박하게 한다는 사례도 있었다.
• 규칙이 많아지면 느려진다는 경험과 모델 교체 문제
  • 원칙·규칙이 세션에 쌓일수록 에이전트가 오래 걸리는 것 같아 성능·비용 트레이드오프가 궁금하다는 경험이 있었다.
  • 모델을 업그레이드하면 일부 지시가 모델에 흡수돼 다시 손봐야 한다는 의견이 있었다.

How to Apply

• 리뷰 에이전트에 improver 프롬프트 돌리기
  • 오늘 지난 한 주의 PR 리뷰 코멘트와 사람 반응을 모아 아래 프롬프트에 붙여 넣는다.
  • 현재 리뷰 skill(또는 AGENTS.md)을 함께 넣고 가장 작은 수정안 한 개만 받는다.
• 피드백 수집 지점을 PR 코멘트로 고정하기
  • 별도 제출 폼 없이 PR·이슈 코멘트에 이유까지 적게 하는 규칙을 팀에 공유한다.
  • 이유가 적힌 피드백만 improver 입력으로 모으는 스크립트를 skill 폴더에 둔다.
• improver를 스케줄 작업으로 돌리고 PR로만 반영하기
  • GitHub Action 등으로 주기 실행해 skill 파일 수정 PR을 열게 한다.
  • 자동 머지는 막고 사람 승인을 필수로 설정한다.
• skill을 원칙과 이유 중심으로 다시 쓰기
  • 변수명 규칙 나열 같은 세부 규칙을 '반복 코드를 찾아라' 같은 원칙으로 바꾼다.
  • 각 원칙 옆에 이유를 한 줄씩 붙인다.

Try It

# Claude 또는 ChatGPT에 그대로 붙여넣기 (Warp improver skill 패턴의 간이 버전)

너는 코드 리뷰 에이전트의 improver다. 아래 현재 skill과 최근 리뷰 피드백을 보고 skill에 가장 작은 수정안 하나를 제안해라.

[현재 skill]
{{현재 리뷰 skill 또는 AGENTS.md 내용}}

[최근 에이전트 코멘트와 사람 반응]
{{코멘트, 사람 반응, 이유 목록}}

규칙:
1. 규칙 나열이 아니라 원칙으로 쓰고, 이유를 한 줄 붙인다.
2. 피드백이 한 번뿐이거나 근거가 약하면 수정하지 말고 이유를 설명한다.
3. 출력은 (a) 근거가 된 피드백 신호 (b) diff 형태의 수정안 (c) PR 설명 초안 순서로 쓴다.

이어서 해 볼 것: 수정안을 실제 skill 파일에 적용해 같은 PR에 다시 리뷰를 돌려 보고 코멘트 품질이 달라졌는지 비교해 보기.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://claude.com/blog/how-warp-builds-self-improving-agents-on-claude
• https://github.com/nousresearch/hermes-agent