DeepSeek Elastic Compute (DSec): 에이전트 학습용 대규모 샌드박스 인프라

Who Should Read

에이전트 학습·평가용 샌드박스를 대량으로 띄워야 해서 인프라 설계를 고민하는 플랫폼 개발자

Core Mechanics

• 샌드박스 백엔드를 SDK 하나로 묶었다
  • FnCall, container, microVM, full-VM 네 가지 백엔드를 통합 SDK로 노출한다.
  • 클러스터 전체의 배치와 수명 주기를 DSec이 함께 관리한다.
• 환경을 버전 있는 레이어로 조립한다
  • 환경은 각각 독립적으로 버전 관리되는 레이어로 구성한다.
  • 이미지 데이터는 분산 파일시스템 3FS(Fire-Flyer File System)에서 필요할 때 읽어 온다.
• 고밀도 실행을 위해 자원을 같이 다룬다
  • 메모리 공유, 메모리 회수, CPU 스케줄링을 결합했다.
  • 오버커밋(실제보다 많이 할당) 상태에서도 지연에 민감한 성능이 유지된다고 한다.
• RL 프레임워크와 함께 설계했다
  • 상태가 있는 rollout 실행을 선점 가능한 GPU 학습과 분리했다.
  • 학습과 샌드박스 수명 주기를 맞춰 rollout 상태는 보존하고 놀고 있는 자원은 회수한다.
  • reward hacking 같은 에이전트의 잘못된 행동도 완화한다.
• 프로덕션 규모가 크다
  • 스케일 단위 하나는 약 160노드에서 하루 약 300만 샌드박스를 처리한다.

Community Reactions

• CPU 노드 160대로 38만 동시 샌드박스가 놀랍다는 반응
  • 댓글에서 Epyc 기반 서버 노드 160대 규모에 감탄했다.
• 에이전트가 클라우드 자원 최대 소비자가 되고 있다는 의견
  • 사람이나 기업보다 AI 에이전트가 가장 큰 클라우드 소비자가 되어 간다는 의견이 있었다.
• 워크로드 예측이 어려운 인프라 문제라는 의견
  • PDF 변환 에이전트는 CPU 바운드이고 단순 질문 응답은 대부분 네트워크 대기라는 지적이 있었다.
  • 컨테이너 재시작 없이 CPU와 메모리를 탄력 배분하는 기술을 기다린다는 의견이 있었다.
• Google의 ax와 비슷하다는 의견
  • 여러 댓글이 Google이 만드는 ax(github.com/google/ax)와 유사하다고 했다.

How to Apply

• 샌드박스 유형을 작업별로 분류해 보기
  • 지금 쓰는 에이전트 작업을 함수 호출, 컨테이너, microVM, 전체 VM 중 필요한 격리 수준으로 나눠 표로 적어라.
  • 과하게 무거운 격리를 쓰는 작업을 찾아라.
• 환경 이미지를 레이어로 쪼개 버전 붙이기
  • 베이스, 의존성, 작업별 파일을 별도 레이어로 나누고 각각 버전을 매겨라.
  • 이미지 전체를 매번 새로 받지 않도록 필요할 때 읽는 구조를 검토하라.
• 에이전트 롤아웃의 reward hacking 점검 항목 만들기
  • 샌드박스 안에서 평가 스크립트나 정답 파일에 접근할 수 있는지 확인하라.
  • 접근 가능하면 해당 경로를 읽기 전용이나 비노출로 막아라.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 샌드박스 설계 점검)

우리 에이전트 학습·평가 환경은 다음과 같다: {{환경 설명}}
작업 유형: {{작업 목록}}

아래 기준으로 설계를 점검해 줘.
1. 각 작업에 필요한 격리 수준을 FnCall / container / microVM / full-VM 중에서 골라 이유와 함께 표로 정리해 줘.
2. 환경 이미지를 독립 버전 레이어로 쪼개는 안을 제시해 줘.
3. 에이전트가 보상이나 정답 파일을 조작할 수 있는 경로(reward hacking)를 나열하고 막는 방법을 적어 줘.

이어서 해 볼 것: 가장 위험한 경로 하나를 골라 실제로 재현 가능한지 테스트해 봐.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://arxiv.org/abs/2609.22978
• https://github.com/google/ax