AI 에이전트 명령 승인 4만 판, 사람은 위협 3개 중 1개를 놓쳤다

TL;DR Highlight

4만 판 승인 게임에서 사람은 위협 명령의 33.7%를 승인해 버렸다

Who Should Read

Claude Code·Codex 같은 코딩 에이전트의 명령 승인 프롬프트를 보안 장치로 믿고 쓰는 개발자

Core Mechanics

위협 3개 중 1개를 놓쳤다
- 4만 판, 승인/거부 40만 9천 건을 분석했다.
- 평균 정확도는 66.3%였다.
- 32.9%의 세션은 점수가 마이너스였다.
자격 증명 유출이 파괴 명령보다 3배 더 놓쳤다
- rm -rf /, chmod -R 777 / 같은 명백한 파괴 명령의 미탐률은 11.7%였다.
- 인증 정보 유출·코드 실행류는 33.4%, ~/.aws/credentials 읽기 같은 범위 위반은 35.0%였다.
npm run은 가장 큰 사각지대였다
- npm run analyze는 64.7%가 승인해 가장 많이 놓친 명령이었다.
- package.json의 스크립트에 curl 전송이 숨어 있었고 히스토리 로그에도 보였다.
- npm run 3종은 52.5% 미탐으로, 다른 유출형 공격 28.4%의 약 2배였다.
끝으로 갈수록 미탐률이 다시 올랐다
- 초반 몇 개 명령에서는 미탐률이 개선됐다.
- 이후 게임 끝으로 갈수록 다시 올랐다.
- 시간 압박 탓일 수도 있다고 저자도 말한다.

Community Reactions

게임 설계 자체가 결과를 무의미하게 만든다는 의견
- 일부 명령이 위험한지 모호했고 시간제한과 오답 페널티가 있었다는 지적이다.
- 실패해도 대가가 없는 게임이라 실무에 일반화할 수 없다는 반론이 여러 개 있었다.
샌드박스가 답이라는 경험담이 많았다
- Apple Container나 별도 사용자 계정으로 에이전트를 돌리고 네트워크를 막는다는 경험이 나왔다.
- yoloAI, claude-contained, Eclipse Enclave 같은 도구가 소개됐다.
허용 목록은 모델이 인라인 스크립트를 쓰면 깨진다는 의견
- 한 댓글러는 허용 목록이 모델의 인라인 스크립트로 자주 무력화된다고 했다.
- 승인 프롬프트를 쓰는 이유는 유출보다 데이터 삭제 같은 의도 불일치를 막기 위해서라고 했다.
- Auto mode는 보안 위협만 보고 삭제 게이트는 조정할 수 없다는 지적이 있었다.
명령이 아니라 파일 단위로 묻자는 의견
- 파일 읽기/쓰기 권한을 묻고 명령은 bwrap으로 감싸자는 제안이 있었다.
- 반복 승인을 룰과 LLM 모니터로 대체하는 Watcher를 만든다는 팀도 있었다.

How to Apply

에이전트를 샌드박스·별도 계정에서 돌리기
- 오늘 Docker나 Apple Container에 에이전트를 넣고 네트워크를 막아 보자.
- 홈 디렉터리 대신 작업 디렉터리만 마운트하라.
- chmod 0700 $HOME으로 다른 사용자 접근을 막아라.
npm run 승인 전에 scripts 확인하기
- 에이전트가 package.json이나 빌드 스크립트를 수정한 뒤에는 npm run 승인 전에 git diff를 보라.
- scripts 항목에 curl이나 외부 전송이 있는지 확인하라.
시크릿을 .zshrc 밖으로 빼기
- API 키 export를 별도 시크릿 파일로 옮기고 .zshrc에서 source하라.
- 에이전트의 접근 허용 목록에서 셸 프로필과 자격 증명 경로를 제외하라.
승인 프롬프트를 로그와 알림으로 보완하기
- 승인 횟수를 줄이려면 안전한 명령은 허용 목록으로 자동 통과시켜라.
- 위험 명령만 사람이 보도록 구분하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: LLM이 명령을 먼저 심사)

당신은 코딩 에이전트의 명령 승인 심사관이다. 아래 명령을 보고 APPROVE 또는 DENY로 판정하라.

규칙:
- npm run, make, 스크립트 실행은 반드시 해당 스크립트 내용을 가정하지 말고 "스크립트 내용 확인 필요"로 표시한다.
- 자격 증명(~/.aws, ~/.kube, ~/.ssh, .env)을 읽거나 외부로 보내면 DENY.
- 알 수 없는 URL로 curl/wget 하거나 낯선 패키지를 설치하면 DENY.
- crontab, git config, 셸 프로필 수정은 DENY.

프로젝트 package.json scripts:
{{package.json scripts}}

심사할 명령 목록:
{{명령 목록}}

출력: 명령별로 판정, 이유 한 줄, 위험 범주(파괴/지속/유출/범위위반)를 표로 정리하라.

이어서 해 볼 것: 같은 명령 목록을 직접 승인/거부해 보고 LLM 판정과 비교해 보라.

Terminology

human-in-the-loopAI가 하는 일 중간에 사람이 승인하는 구조. 보안 검문소에 직원이 서 있는 것과 비슷하다.

permission fatigue승인 요청이 너무 많아 사람이 내용을 안 읽고 누르게 되는 현상.

exfiltration비밀번호나 키 같은 데이터를 외부 서버로 빼돌리는 행위.

--dangerously-skip-permissionsClaude Code에서 모든 승인 프롬프트를 건너뛰는 옵션.

sandbox에이전트가 접근할 수 있는 파일·네트워크를 격리한 실행 환경. 모래상자 안에서만 놀게 하는 것과 같다.