Claude Code 팀이 에이전트 작업을 검증하는 방법
How the Claude Code team thinks about verification
TL;DR Highlight
E2E·property·differential 테스트와 검증 규칙으로 Claude를 병렬로 돌린다
Who Should Read
코딩 에이전트에 작업을 맡기고 싶지만 결과를 일일이 읽느라 병목이 생긴 백엔드·풀스택 개발자
Core Mechanics
- 코드 90%를 Claude가 쓴다
- Claude Code 팀 코드의 약 90%를 Claude가 작성하고 리뷰한다.
- 검증 루프가 없으면 Claude를 한두 개밖에 못 돌린다고 한다.
- 별도 채점기로 최대 10점 올랐다
- 구조화된 파일 생성 내부 테스트에서 별도 grader가 루브릭으로 검사했다.
- 표준 프롬프트 루프 대비 작업 성공률이 최대 10점 올랐다.
- 어려운 문제일수록 개선 폭이 컸다.
- E2E 테스트가 첫 번째 투자 대상이다
- E2E(사용자 흐름 전체를 실행하는 테스트)는 기능이 되거나 안 되거나 둘 중 하나라 속이기 어렵다.
- 단위 테스트는 통과해도 기능이 깨질 수 있다고 한다.
- property·differential 테스트도 쓴다
- property 테스트(수천 개 입력을 자동 생성해 깨지지 않는 성질을 검증)는 fast-check, Hypothesis, proptest 같은 라이브러리로 한다.
- differential 테스트는 옛 시스템과 새 시스템에 같은 입력을 넣어 결과를 비교한다.
- 변경이 자기 검사를 못 고치게 한다
- REVIEW.md는 PR이 아니라 base나 default 브랜치에서 읽는다.
- 오래된 커밋에 대한 리뷰 통과는 의미 없다고 본다.
- 새 게이트는 observe 모드로 시작한다
- 커밋 게이트는 off, observe, enforce 세 모드가 있다.
- observe는 막았을 커밋을 기록만 해서 오탐을 확인한다.
- 세션에서 두 번 막히면 다음 커밋은 통과시킨다.
- 놓친 버그는 규칙으로 바꾼다
- 사람 리뷰 코멘트와 revert에서 두 PR 이상 반복된 패턴을 규칙 후보로 삼는다.
- flaky 테스트는 skip, sleep, 재시도를 금지하고 원인을 못 찾으면 삭제하며 이유를 적는다.
Community Reactions
- 비용이 과하다는 반론
- Playwright 같은 도구가 토큰 없이 결정적으로 같은 검증을 한다는 의견이 있었다.
- 한 번 쓰면 계속 쓰므로 한계 비용이 거의 0이라는 주장이다.
- 토큰 비용 부담 경험
- 에이전트 한두 개만으로 월 2천 달러 토큰을 쓴다는 댓글이 있었다.
- 검증 스킬을 쓰는 한 사용자는 비용을 줄이려 DeepSeek을 주력으로 바꿨다고 한다.
- 테스트가 버그에 동조한다는 경험
- 에이전트가 기능과 테스트를 같이 썼더니 테스트는 통과했는데 기능은 틀렸다는 경험이 있었다.
- 불필요한 단위 테스트를 Claude가 계속 밀어 넣는다는 불만도 있었다.
- 글의 방식이 실제로 통했다는 경험
- QA 워크플로가 글과 거의 같고 빠른 속도로 품질 있게 출시했다는 댓글이 있었다.
- 검증 스킬을 만든 뒤 AI 코딩 신뢰도가 크게 달라졌다는 경험도 있었다.
How to Apply
- repo에 verify 스킬 만들기
- 오늘 .claude/skills/verify 폴더를 만들고 앱 실행·확인 방법을 적어라.
- 웹은 Chrome 확장, 백엔드는 로컬 실행으로 Claude가 직접 돌려 보게 하라.
- Claude에게 반복 개선과 스트레스 테스트를 시켜 빠르고 안정적으로 만들어라.
- 핵심 로직에 property 테스트 추가하기
- 인코딩·디코딩 왕복, 잔액 음수 금지 같은 성질을 골라 fast-check나 Hypothesis로 작성하라.
- 에이전트가 쓴 코드의 엣지 케이스를 편향 없이 검사하는 용도로 써라.
- 마이그레이션은 옛 시스템과 비교하기
- 같은 랜덤 입력이나 운영 트래픽 샘플을 신구 시스템에 넣어라.
- 공백 같은 무관한 차이는 정규화하고 허용 변경 목록을 관리하라.
- 검증 게이트는 observe로 시작하기
- 커밋에 검증 방식을 기록하고 막을 커밋은 로그만 남겨라.
- 오탐을 확인한 뒤 enforce로 올려라.
- 같은 세션에서 두 번 막히면 통과시켜라.
Try It
# Claude Code에 그대로 붙여넣기 (원문 방법의 간이 버전)
이 repo에 .claude/skills/verify/SKILL.md 를 만들어 줘.
내용: 앱을 로컬에서 띄우고, {{핵심 사용자 흐름}}을 실제로 실행해 결과를 확인하는 절차.
각 단계의 기대 결과와 실패 시 보고할 증거(로그, 스크린샷)를 적어 줘.
규칙:
- 커밋 전에 이 verify 절차를 반드시 실행한다.
- 같은 검사가 3번 연속 실패하면 멈추고 사람에게 알린다.
- flaky 테스트는 skip, sleep, 재시도로 넘기지 않는다. 원인을 못 찾으면 삭제하고 이유를 적는다.
- 검사 규칙 파일은 이번 변경에서 수정하지 않는다.
만든 뒤 {{변경 사항}}에 대해 verify를 실행하고 증거와 함께 결과를 보고해 줘.
이어서 해 볼 것: 실패한 케이스를 CLAUDE.md 규칙으로 추가해 달라고 요청해 보라.Terminology
관련 논문
LLM으로 리버스 엔지니어링 속도 올리기: 에이전트+Ghidra MCP+가설 디버깅
바이너리를 에이전트에 맡기고 스킬·MD 기록을 붙였더니 수년 걸릴 해킹이 가능해졌다
Metrics-in-the-Loop: 복잡도 피드백이 에이전트가 짜는 코드 구조를 바꾼다
코딩 에이전트에 복잡도 리포트를 매 턴 넣었더니 코드 erosion이 줄고 정확도는 그대로
Gemini 4 Carbon은 왜 이렇게 느린가: 에이전트 트레이스 분석
버그 수정에 Carbon은 1시간, Astra·Opus는 몇 분 걸렸고 원인은 불필요한 작업이었다
코딩 에이전트에 자격 증명을 넘기지 않고 돌리기: lend
자격 증명은 노트북에 두고 명령만 Touch ID 승인으로 실행하게 했다
Windows 11이 어떤 코딩 에이전트·개발 도구를 쓰는지 수집한다
Windows 11 DLL 분석 결과, codex·claude 등 사용 여부가 진단 데이터로 올라간다
LLM 추론에서 대화 히스토리가 몰래 치르는 비용
대화 히스토리를 통째로 넣으면 정확도가 20턴 안에 0.6→0.1로 붕괴하고, 검증된 상태 요약은 이를 막았다
Claude Code Projects 개편: 코디네이터가 병렬 스레드를 지휘한다
Claude Code Projects가 코디네이터가 병렬 스레드에 작업을 나눠 PR까지 올리는 구조로 바뀌었다
AgentRun: 실행할수록 똑똑해지는 오픈소스 매니지드 에이전트 플랫폼
에이전트가 매 실행 후 노트·스킬을 저장해 코드 리뷰 비용을 18센트로 낮췄다