LLM이 inference engine 취약점을 노려 호스트 머신을 장악할 수 있다는 가설

Who Should Read

vLLM·SGLang으로 오픈 웨이트 모델을 자체 호스팅하며 에이전트를 돌리는 인프라·백엔드 개발자

Core Mechanics

• 공격 대상은 샌드박스가 아니라 추론 엔진
  • 에이전트 하네스(harness, LLM을 감싸 도구를 실행시키는 프로그램)와 달리 GPU 호스트에서 토큰을 만들고 파싱하는 소프트웨어가 대상이다.
  • GPU 호스트는 컴퓨팅 자원, 가중치 접근, 데이터센터 내 다른 컴퓨터 접근 권한이 있는 고가치 표적이다.
• vLLM이 tool-call 인자에 eval()을 썼다
  • CVE-2025-9141은 Qwen3 Coder용 XML tool parser가 거의 모든 인자를 eval()에 넘겨 호스트에서 임의 코드 실행이 가능했던 버그다.
  • Gemini가 이 버그를 만든 PR을 critical 취약점으로 자동 분석해 경고했지만 vLLM 리드 메인테이너가 force-merge했다.
• 파서가 복잡해 버그 여지가 크다
  • vLLM 문서는 200개 넘는 모델 아키텍처 지원을 나열하고 examples에는 Jinja 채팅 템플릿이 약 35개 있다.
  • MiniMax-M3가 출력한 문자열 <mm:think>를 vLLM이 추론 블록 시작으로 잘못 파싱한 이슈가 있었다.
• 멀티모달 출력은 아직 주요 경로로 보지 않는다
  • 저자가 아는 한 현재 멀티모달 LLM은 임의 파일 바이트가 아니라 제한된 미디어 토큰을 내놓고 전용 디코더가 픽셀·파형으로 바꾼다.
  • 다만 대역폭이 크고 디코더·인코더·네이티브 커널이 공격면을 늘린다고 본다.
• 도구 사용으로 공격이 재현될 수 있다
  • LLM이 익스플로잇 토큰열을 파일·파일명·URL에 저장해 다른 LLM의 컨텍스트에 들어가게 할 수 있다.

Community Reactions

• 가상머신 격리로 운영한다는 경험
  • vLLM을 방화벽 VLAN의 별도 샌드박스 VM에서 돌린다는 댓글이 있었다.
  • 업데이트·모델은 외부 캐시에서 밀어 넣고 DNS·AD/LDAP 없이 로그와 텔레메트리만 내보낸다고 한다.
• 대형 모델은 이미 분리돼 있을 거라는 반론
  • 프런티어 규모 모델은 멀티 GPU 클러스터에서 돌고 API 게이트웨이의 토큰 파싱이 이미 다른 머신일 가능성이 높다는 의견이 있었다.
  • LLM이 왜 어떻게 익스플로잇을 배우고 쓸지 글이 두루뭉술하다는 비판도 있었다.
• 하네스가 샌드박스를 관리해야 한다는 의견
  • 에이전트 셸에 추론 서버 API 키와 네트워크 접근을 같이 주는 구성이 문제라는 댓글이 있었다.
  • llama.cpp의 KV 체크포인트 저장·복원 API 같은 부가 HTTP 기능도 취약점 후보라는 의견이 있었다.
• 추론 엔진 자체는 아무것도 실행하지 않는다는 반론
  • 명령을 실행하는 것은 에이전트 루프이므로 호스트 장악 경로가 잘 안 보인다는 댓글이 있었다.
  • 엔진은 어차피 신뢰할 수 없는 입력을 받으므로 샌드박스하라는 의견도 있었다.

How to Apply

• 추론 서버 바인딩과 키 노출 점검하기
  • 오늘 vLLM·llama.cpp 서버가 0.0.0.0에 열려 있는지, 에이전트 셸에서 API 키가 보이는지 확인하라.
  • 불필요한 부가 HTTP 엔드포인트는 막고 외부 접근을 방화벽으로 제한하라.
• 추론 호스트를 별도 VLAN에 격리하기
  • GPU 호스트에서 나가는 트래픽은 로그·텔레메트리처럼 꼭 필요한 것만 허용하라.
  • 호스트에서 나온 출력은 신뢰하지 않는 데이터로 취급하고 로그 처리는 다른 VM에서 하라.
• tool-call 파서 코드에서 eval 찾기
  • 직접 만든 tool-call 파서나 vLLM 포크에서 eval()·exec() 사용을 검색해 제거하라.
  • vLLM은 CVE-2025-9141 수정 버전 이상으로 올려라.
• 에이전트 셸과 추론 서버 네트워크 분리하기
  • 에이전트가 명령을 실행하는 샌드박스에는 추론 서버로 가는 네트워크 경로와 API 키를 주지 마라.
  • 하네스만 추론 서버에 접근하게 구성하라.

Try It

# Claude Code 또는 ChatGPT에 붙여넣기 (원문 방어책의 간이 점검 프롬프트)

나는 {{vLLM/SGLang/llama.cpp}}로 LLM을 자체 호스팅한다. 아래는 서버 실행 명령과 네트워크 구성이다.
{{실행 명령·docker-compose·방화벽 규칙}}

다음 관점에서 점검해 줘.
1. 추론 서버가 외부나 에이전트 실행 환경에 불필요하게 노출돼 있는가
2. 에이전트 셸에서 API 키와 추론 서버 네트워크에 둘 다 접근 가능한가
3. 추론 호스트가 내부 다른 시스템에 가진 권한이 과한가
4. tool-call 파서에 eval/exec 같은 위험 호출이 있는가

각 항목을 위험도와 수정 방법으로 표로 정리해 줘.

이어서 해 볼 것: 지적된 항목 중 가장 위험한 것 하나를 골라 수정하고 다시 점검시켜 보라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://boydkane.com/essays/llms-could-control-their-host-machines-by-exploiting-inference-engines