What xAI's Grok build CLI sends to xAI: A wire-level analysis

Who Should Read

Grok Build, Claude Code, Codex 같은 AI 코딩 CLI 도구를 실무 프로젝트에 사용 중인 개발자, 특히 민감한 코드베이스나 시크릿을 다루는 환경에서 AI 도구 도입을 검토 중인 팀.

Core Mechanics

• Grok Build CLI(버전 0.2.93)는 사용자가 작업 디렉토리에서 실행하면 .env 파일 내용을 포함한 파일들을 xAI 서버로 전송한다. 시크릿 내용이 두 채널로 흘러간다: 모델 응답 채널(POST /v1/responses)과 세션 상태 아카이브 채널(POST /v1/storage).
• 가장 충격적인 발견은 에이전트가 실제로 파일을 읽지 않아도 전체 저장소가 업로드된다는 점이다. '아무 파일도 읽지 말고 OK라고만 답해'라는 프롬프트를 줬을 때도 Grok은 전체 레포를 Git 번들로 패키징해서 POST /v1/storage로 올렸고, 그 번들에서 에이전트가 절대 열지 말았어야 할 canary 파일(never_read_canary.txt)과 전체 Git 히스토리를 복원할 수 있었다.
• 업로드 규모 실험에서 12GB짜리 더미 파일로 가득 찬 저장소를 대상으로 테스트했더니 /v1/storage가 5.10GiB를 업로드했다. 반면 모델 응답 채널은 고작 192KB만 전송했는데, 이 27,800배 차이가 업로드가 '에이전트가 읽은 내용'이 아니라 '전체 코드베이스'를 보내는 것임을 명확히 증명한다.
• 업로드 대상 저장소는 AWS S3가 아닌 Google Cloud Storage의 grok-code-session-traces 버킷이다. 이 버킷 이름은 CLI 바이너리 내부와 캡처된 metadata.json(gs://grok-code-session-traces/...)에 그대로 명시되어 있다.
• '모델 개선에 활용' 옵션을 끄더라도 업로드는 멈추지 않는다. 해당 설정을 OFF로 바꿔도 /v1/settings 엔드포인트는 여전히 trace_upload_enabled: true를 반환했고, 저장소 업로드 동작에는 변화가 없었다.
• 저자는 실제 크리덴셜을 노출하지 않기 위해 테스트용 가짜 '카나리아 시크릿'이 담긴 전용 저장소를 만들어 실험했고, 모든 캡처 결과물의 SHA-256 해시를 증거 부록(§8)에 첨부했다. 재현 가능한 방법은 github.com/cereblab/grok-build-exfil-repro에 공개되어 있다.
• 이 분석이 증명하는 것은 '전송, 수신, 저장'이 실제로 일어난다는 사실이다. xAI가 이 데이터로 모델을 학습시키는지 여부는 별도의 정책 문제이며, 이 분석의 범위 밖이라고 명시했다.
• CLI 설치 방법은 curl -fsSL https://x.ai/cli/install.sh | bash이며, 첫 실행 시 브라우저로 X/SuperGrok 계정으로 로그인한다. 이 동작은 일반 소비자 계정에서도 기본으로 활성화되어 있으며, 엔터프라이즈 ZDR(Zero Data Retention) 플랜만 예외로 보인다.

Evidence

• bubblewrap으로 AI 코딩 도구를 샌드박싱한다는 경험 공유가 있었다. 작업 프로젝트 디렉토리만 읽기 허용하고, .git은 읽기 전용, 민감 디렉토리는 빈 디렉토리로 마운트하며, 네트워크는 Unix 소켓 기반 HTTP 프록시를 통해 특정 LLM 공급자 호스트명만 허용하는 방식이다. 예를 들어 Crush 도구는 *.openrouter.ai만 허용하고 *.charm.land는 차단해서 자동 업데이트도 막는다고 했다.
• 'Improve the model' 토글이 ON/OFF에 관계없이 전체 레포가 동일하게 업로드된다는 발견에 대해 '이건 진짜 심각하다'는 반응이 많았다. AI 업체들이 데이터 수집 opt-in 시에는 비슷한 행동을 할 거라 예상할 수 있지만, 명시적으로 끈 상태에서도 작동한다는 건 악의적이라는 의견이 있었다.
• 반론으로, '에이전트가 실행된 디렉토리의 파일을 소유한다는 건 당연히 가정하는 것 아닌가? 매번 컨텍스트로 코드를 보내는 대신 서버에 미리 올려두면 RTT와 tool call을 줄일 수 있어서 오히려 내 이익이 될 수도 있다'는 의견도 있었다. 다만 이에 대해 사용자에게 명확히 고지하지 않는 것이 문제라는 재반론도 나왔다.
• 보고서가 AI가 작성한 것으로 보인다는 점에 대해 신뢰도 문제를 제기하는 의견도 있었다. AI가 생성한 보고서라 일부 내용이 hallucination일 가능성을 배제할 수 없으며, 다른 사람이 독립적으로 재현 확인을 해줘야 신뢰할 수 있다는 입장이었다.
• Grok Build의 성능이 실제로 인상적이었던 경험을 가진 사용자가 '이번 발견이 실망스럽다'면서도, 어차피 LLM을 통해 작성하는 코드는 대부분 업체 로그에 남고 tool call을 재현하면 프로젝트를 복구할 수 있다는 점을 지적했다. 그럼에도 최소한 ToS와 개인정보 처리방침에 명확히 공개해야 하며, 법률 문서에 숨겨서는 안 된다고 했다.

How to Apply

• 실무 프로젝트에서 Grok Build를 사용 중이라면 즉시 사용을 중단하거나, bubblewrap 같은 샌드박스 도구로 네트워크 접근을 특정 LLM API 호스트만 허용하도록 제한하라. 특히 .env 파일이나 API 키가 작업 디렉토리에 존재한다면 이미 노출됐을 가능성이 있다.
• Grok Build 대신 opencode 같이 API를 직접 호출하는 오픈소스 CLI 도구를 사용하면 클라이언트가 어떤 데이터를 보내는지 직접 확인하고 통제할 수 있다. 다만 네이티브 에이전트 러너에 비해 성능 차이가 있을 수 있다는 트레이드오프를 고려해야 한다.
• Claude Code, Codex, Cursor 등 다른 AI 코딩 CLI 도구도 동일한 방식으로 네트워크 트래픽을 분석해볼 필요가 있다. mitmproxy나 Wireshark를 이용해 가짜 카나리아 시크릿이 담긴 전용 테스트 저장소에서 실행한 뒤, /v1/storage 또는 유사 엔드포인트로의 전송 여부를 확인하라.
• 팀 차원에서 AI 코딩 도구 정책을 수립할 때, 엔터프라이즈 ZDR(Zero Data Retention) 플랜 여부를 확인하고, 그 외 플랜에서는 민감한 코드베이스 접근을 허용하지 않는 것을 기본 원칙으로 삼아라.

Code Example

# Grok Build CLI 설치 방법 (분석 대상)
curl -fsSL https://x.ai/cli/install.sh | bash
# → ~/.grok/bin/grok

# 바이너리 정보 확인
file $(readlink -f ~/.grok/bin/grok)
~/.grok/bin/grok --version
shasum -a 256 $(readlink -f ~/.grok/bin/grok)
# SHA-256: 2a97ba675bd992aa9b981e2e83776460d94f469b510c0b8efe28b50d236d767c

# 재현 실험 저장소
# https://github.com/cereblab/grok-build-exfil-repro

# bubblewrap 샌드박스 예시 (커뮤니티 제안)
# - 작업 디렉토리만 읽기 허용
# - .git은 읽기 전용 마운트
# - 민감 디렉토리는 빈 디렉토리로 마운트
# - 네트워크는 Unix 소켓 프록시 경유, 특정 호스트만 허용
# 예: Crush 사용 시 *.openrouter.ai 허용, *.charm.land 차단

Terminology

Related Papers

• Migrating a production AI agent to GPT-5.6: 2.2x faster, 27% cheaper

  마케팅 웹사이트를 자동 생성하는 프로덕션 AI 에이전트를 Claude Opus 4.8에서 GPT-5.6 Sol로 전환한 실전 경험담으로, 단순 모델 교체가 아니라 eval 하네스, 툴 스키마, 캐싱, 추론 리플레이까지 손봐야 했던 과정을 구체적인 수치와 함께 정리했다.

• Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

  LLM 에이전트가 긴 작업 중 중요한 정보를 잊어버리는 문제를 별도의 메모리 에이전트가 '적절한 타이밍에' 끼어들어 해결하는 방법

• WebSwarm: Recursive Multi-Agent Orchestration for Deep-and-Wide Web Search

  복잡한 웹 검색을 재귀적으로 분해하고 각 노드에 적합한 검색 모드를 동적으로 할당하는 멀티에이전트 프레임워크

• Show HN: Reverse-engineering web apps into agent tools

  로그인된 웹 앱의 API 호출을 브라우저에서 감시해 자동으로 MCP 도구로 변환하는 에이전트를 만들었다. 소스 코드나 공식 API 문서 없이도 Jira, Spotify 같은 서비스에 AI 어시스턴트를 붙일 수 있다.

• Show HN: FableCut – A browser video editor AI agents can drive (zero deps)

  타임라인 전체를 JSON 파일 하나로 표현하고 MCP/REST로 AI 에이전트가 직접 편집할 수 있는 브라우저 비디오 에디터로, Claude 같은 AI가 프롬프트 하나로 영상을 자동 컷편집하고 결과를 실시간으로 UI에 반영해준다.

• From Noisy Traces to Root Causes: Structural Trajectory Analysis and Causal Extraction for Agent Optimization

  Agent 실패 로그를 인과 그래프로 분석해 진짜 근본 원인만 골라내고, 해당 모듈 프롬프트만 정밀하게 수정하는 자동 최적화 프레임워크

Related Resources

• 원문: What xAI's Grok Build CLI Actually Sends to xAI (Wire-Level Analysis)
• 재현 실험 저장소 (cereblab/grok-build-exfil-repro)
• Landstrip: AI 에이전트 샌드박싱 도구 (댓글에서 언급)