에이전트에게 얼마나 맡길까: 검증 용이성과 되돌리기 비용으로 정하는 4단계

TL;DR Highlight

확인 쉬운가·되돌리기 싼가, 두 질문으로 에이전트 자율성 4단계를 정한다

Who Should Read

코딩 에이전트에 어디까지 맡길지 기준이 없어 매번 감으로 정하는 개발자

Core Mechanics

모델 성능이 아니라 작업이 기준이다
- 모델이 똑똑해졌다고 믿는 건 차가 좋아졌다고 안전벨트를 푸는 것과 같다고 한다.
- 작업의 성격으로 위임 범위를 정해야 한다고 한다.
질문 두 개가 상한선을 정한다
- 첫째, 에이전트 결과를 확인하기 쉬운가.
- 둘째, 실수를 되돌리기 싼가.
확인·되돌리기 조합이 4단계가 된다
- Level 0은 확인 어렵고 되돌리기 비쌈이다. 에이전트는 조수 역할이다.
- Level 1은 확인 어렵고 되돌리기 쌈이다. 사람이 루프에 들어간다.
- Level 2는 확인 쉽고 되돌리기 비쌈이다. 오늘날 대부분의 개발 작업이 여기다.
- Level 3은 확인 쉽고 되돌리기 쌈이다. 의존성 업데이트, lint 수정, 기존 코드 테스트 추가 같은 작은 작업이 해당한다.
Level 0은 쪼개서 일부만 넘긴다
- feature flag 엔진 마이그레이션은 grep으로 확인할 수 없고 영향 범위가 컸다.
- 핵심 마이그레이션은 직접 하고 JS·PHP·Ruby·Flutter SDK 반영은 에이전트에 넘겼다.
Level 1은 LLM-as-judge와 측정 목표로 올린다

Community Reactions

내 경험과 정반대라는 의견
- Claude Code가 feature flag 리팩터링을 사람보다 잘하고 특수 케이스도 덜 놓친다고 한다.
- 에이전트가 어려워하는 건 비즈니스 지식이라고 한다.
의도 이탈도 검증해야 한다는 의견
- 정적 분석과 테스트로는 방향이 어긋나는 걸 잡기 어렵다고 한다.
- 최종 상태만 보면 결론에 이른 과정을 알 수 없다고 한다.
blind audit로 에이전트를 쓴다는 경험
- 요구사항 기준으로 에이전트가 먼저 변경안을 내게 하고 실제 변경과 비교시킨다고 한다.
- 주말 전 남는 토큰으로 돌리지만 효과는 평가하지 않았다고 한다.
Level 1과 2의 경계가 불분명하다는 반응
- 사람 리뷰와 안전 게이트를 어떻게 나누는지 묻는 댓글이 있었다.
- 실제 경험과 데이터 없이 쓴 글 같다는 비판도 있었다.

How to Apply

지금 작업 하나를 4단계로 분류하기
- 오늘 맡길 작업 하나에 확인 쉬운가·되돌리기 싼가를 물어 레벨을 적어라.
- 확인이 어려우면 작업을 더 작게 쪼개 위임 가능한 조각을 찾아라.
Level 2 작업에 가드레일 코드로 박기
- 파이프라인에 dry-run 기본값을 넣어라.
- 자격증명 범위를 줄이고 변경은 feature flag 뒤에 둬라.
Level 1 작업에 측정 가능한 목표 붙이기
- 주관적 작업은 달성 기준을 숫자로 정해 에이전트에 줘라.
- 팀 리뷰 규칙은 커스텀 skill로 만들어라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (원문 4단계 기준을 프롬프트로 옮긴 것)

아래 작업을 에이전트에 맡기려 한다.
작업: {{작업 설명}}

다음 두 질문에 답하고 레벨을 판정해줘.
1. 결과를 테스트 등으로 자동 확인하기 쉬운가?
2. 실수를 되돌리기 싼가?

레벨 기준:
- Level 0: 확인 어렵고 되돌리기 비쌈 (에이전트는 조수)
- Level 1: 확인 어렵고 되돌리기 쌈 (사람이 루프에 있음)
- Level 2: 확인 쉽고 되돌리기 비쌈 (위임하되 마지막 안전 게이트)
- Level 3: 확인 쉽고 되돌리기 쌈 (자율 실행)

출력: 레벨, 근거 두 줄, 작업을 더 쪼갤 수 있다면 쪼갠 목록과 각 조각의 레벨.

이어서 해 볼 것: 판정이 Level 2라면 dry-run, 자격증명 범위 제한, feature flag로 넣을 가드레일을 제안해달라고 요청해 보라.

Terminology

blast radius사고가 났을 때 영향이 미치는 범위다. 폭탄이 터졌을 때 피해 반경과 같다.

LLM-as-judgeLLM이 다른 결과물을 채점하게 하는 방식이다. 사람 심사위원 대신 AI 심사위원을 두는 셈이다.

shadow mode새 시스템을 실제 트래픽에 돌리되 결과는 쓰지 않고 비교만 하는 방식이다. 리허설 같은 것이다.

dry-run실제로 변경하지 않고 무엇을 할지만 출력해 보는 실행 방식이다.

feature flag코드 배포와 기능 켜기를 분리하는 스위치다. 문제가 생기면 끄면 되돌릴 수 있다.