Claude Code 팀의 코드 리뷰 방식: 사람 시간은 아끼고 리버트는 줄이기
How the Claude Code team does code review
TL;DR Highlight
리뷰 대부분을 AI에 넘기자 PR은 2배 넘게 늘고 리버트는 40%↓
Who Should Read
AI 에이전트가 쓴 PR이 쏟아져 사람 리뷰가 병목이 된 팀의 백엔드·플랫폼 개발자
Core Mechanics
- PR 두 배, 리버트 40%↓
- 6~9월 사이 Claude Code 저장소의 머지된 PR은 2배 넘게 늘었다.
- 같은 기간 리버트(되돌린) 비율은 40% 넘게 줄었다.
- 리뷰를 막판 관문에서 상시 검사로 바꿨다
- 예전엔 코드 작성 후 PR을 열고 동료를 기다렸다.
- 이제는 맞춤법 검사처럼 계속 돌고, 사람이 보기 전에 Claude가 최소 한 번 리뷰하고 고친다.
- 에이전트가 찾고 다른 에이전트가 투표한다
- 여러 에이전트가 동시에 버그를 찾는다.
- 별도 그룹이 각 지적에 투표해서 충분히 동의해야만 코멘트로 올라간다.
- 사람 승인은 위험도별로 0·1·2명
- 분류기가 변경 내용을 읽고 위험 등급을 정한다.
- 문서·카피는 자동 검사 통과 시 승인 불필요, 캐시·자동 업데이터·시스템 프롬프트는 1명, 최고 위험은 2명이다.
- 에이전트의 승인은 사람 승인으로 치지 않는다.
- 리뷰어가 끝나지 않는 문제가 있었다
- 한 CLI PR은 밤새 50번 넘게 리뷰와 수정을 돌았다.
- 리뷰어가 지적한 것의 약 59%는 첫 패스부터 있던 코드였다.
Community Reactions
- 대규모 랩이라 가능한 방식이라는 의견
- 토큰이 사실상 무제한인 Anthropic이라 가능하고, 일반 팀은 코드를 계속 읽어야 한다는 의견이 있었다.
- 구글 방식을 따라 했다가 작은 팀이 고생한 경험도 언급됐다.
- 컴플라이언스·보안 우려
- SOC2 감사에서 프로덕션 전에 다른 사람이 반드시 리뷰해야 한다고 들었는데 어떻게 통과했느냐는 질문이 있었다.
- 보안 리뷰 Action이 프롬프트 인젝션에 강화되어 있지 않다고 README에 적혀 있다는 지적이 있었다.
- 플래그 뒤 변경이 저위험이라는 데 의문
- 플래그를 켜는 순간 위험이 현실화되는데 그때 리뷰가 있느냐는 의견이 있었다.
- 코드 이해 없이 설명서만 읽는 건 지식이 아니라 검색이라는 반론도 있었다.
- 컴파일 기반 프로젝트에는 적용이 어렵다는 경험
- 툴체인 의존성이 약 200GB이고 통합 테스트가 몇 시간 걸려서 이런 피드백 루프를 만들기 어렵다는 경험담이 있었다.
How to Apply
- 지난 한 달 리버트 PR을 모아 리뷰어 평가셋 만들기
- 오늘 30분 안에 장애·리버트 PR 목록과 원인 버그 위치를 표로 정리하라.
- 이 목록에 현재 AI 리뷰 프롬프트를 돌려 몇 건 잡는지 세라.
- REVIEW.md로 리뷰어에게 우리 저장소의 실패 기준 알려주기
- 실패가 어떤 모습인지, 건너뛸 경로, 코멘트 개수 상한을 짧게 적어라.
- 지적마다 파일과 줄 번호를 증거로 요구하고, 요약은 개수로 시작하게 하라.
- AI 리뷰에 라운드 상한과 diff 재리뷰 넣기
- 3라운드가 지나면 접근 방식을 다시 생각하도록 작성자에게 요청하게 하라.
- 2회차부터는 변경된 diff만 리뷰하고 이미 올린 지적은 반복하지 않게 하라.
- 변경 위험도 등급표 만들기
- 결제·자동 업데이트·CI 워크플로 파일 같은 경로는 항상 사람 승인을 요구하라.
- 문서·플래그 뒤 추가 변경처럼 저위험 경로만 사람 승인을 면제하라.
Try It
# Claude나 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: 에이전트 투표 + 수렴 규칙 리뷰)
너는 코드 리뷰어다. 아래 diff만 보고 버그를 찾아라.
규칙:
1. 지적마다 파일과 줄 번호를 증거로 제시하라. 이름만 보고 추측하지 마라.
2. 스타일·정리·진단성 지적은 제외하라.
3. 각 지적에 Important / Nit / Pre-existing 태그를 붙여라. 이번 PR이 만들지 않은 버그는 Pre-existing이다.
4. 같은 종류의 버그는 한 번에 묶어서 모든 위치를 알려라.
5. 요약은 지적 개수로 시작하고, 고칠 게 없으면 없다고 말하라.
6. 마지막에 각 지적을 스스로 반박해 보고, 진짜 버그로 남는 것만 최종 목록에 넣어라.
PR 의도: {{PR 설명}}
Diff:
{{diff}}
이어서 해 볼 것: 수정 후 같은 프롬프트에 "이전 지적 반복 금지, 변경된 diff만 리뷰"를 추가해 2라운드를 돌려 보라.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓