DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개

Who Should Read

DeepSeek 모델을 자체 GPU로 서빙하며 추론 비용과 처리량을 고민하는 인프라·백엔드 개발자

Core Mechanics

• DeepSeek 대규모 서비스의 추론 엔진
  • DeepInfer는 DeepSeek의 대규모 프로덕션 서비스를 돌리는 프레임워크다.
  • 이번 공개는 오프라인 추론과 핵심 기능만 담았고, 라이선스는 Apache-2.0이다.
• 지원 모델·하드웨어는 좁다
  • 지원 모델은 DeepSeek-V4.1-Flash 하나다.
  • 하드웨어는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU다.
• 추론 속도 기능이 한가득
  • 드래프트 토큰(미리 추측한 토큰)으로 디코딩을 빠르게 하고, 신뢰도 추정으로 검증 시점을 조절한다(DSpark).
  • CPU 배치 스케줄링과 장치 실행을 겹치는 비동기 스케줄링은 기본으로 켜져 있다.
  • 병렬화는 Attention DP / balanced CP, MoE EP + EPLB를 쓴다.
• 결과 재현성 옵션이 있다
  • DEEPINFER_BATCH_INVARIANT=1이면 배치 구성이 달라도 결과가 같다(NVIDIA만).
  • 같은 입력 토큰과 샘플링 파라미터면 같은 출력이 나오는 deterministic sampling도 지원한다.
• 구조화 출력을 기본 지원한다
  • 정규식, JSON schema, EBNF 문법으로 생성을 제한할 수 있다.
  • SamplingParams에 so_args={"schema_type": ..., "schema": ...}를 넘긴다.
• 서비스 전체는 아직 아니다
  • KV cache 시스템이 이번 릴리스에 빠져 있다.
  • VE/Prefill/Decode 분리와 data-parallel replica 간 로드 밸런싱도 빠져 있다.
• 빌드 요건이 까다롭다
  • Linux, GCC 13 이상, Python 3.12가 필요하다.
  • NVIDIA는 CUDA 13, Ascend는 CANN 9.2가 필요하다.

Community Reactions

• 처리량과 수익 수치가 인용됐다
  • 한 댓글이 Zhihu 글을 인용해 단일 클러스터 처리량이 하루 155 trillion 토큰이라는 수치를 전했다.
  • 같은 글에서 카드당 시간당 수익이 $38(비피크 가격 기준)이라고 한다는 의견이 있었다.
• $38 수치는 비교가 어렵다는 의견
  • 한 댓글은 H-100 대여가 시간당 약 $2.75라며 대비시켰다.
  • 어떤 카드 기준인지 명시되지 않았다고 지적했다.
• KV cache 시스템이 빠졌다는 지적
  • 여러 댓글이 KV cache 시스템 누락을 짚었다.
  • 한 댓글은 Zhihu 글에 KV cache를 72시간 이상 유지하는 목표가 있다고 전했다.
• vLLM·SGLang 대비 성능이 궁금하다는 반응
  • 원문이 둘에서 영감을 받았다고 했는데 성능 차이가 얼마인지 궁금하다는 댓글이 있었다.
  • 서드파티 DeepSeek 제공자들의 tool calling 품질이 낮은 문제가 개선될지 궁금하다는 의견도 있었다.
• Ascend 지원의 영향은 의견이 갈렸다
  • Huawei Ascend 지원이 Nvidia 독점에 도전이 될 것이라는 의견이 있었다.
  • 규제 때문에 미국·EU에서는 Huawei 하드웨어를 쓰기 어려워 Nvidia가 유지될 것이라는 반론도 있었다.
• V4.1 Flash를 직접 써 봤다는 경험
  • Claude Max 구독을 DeepSeek API로 바꿨더니 빠르고 거절도 거의 없었다는 댓글이 있었다.

How to Apply

• 오늘 레포 README의 환경 요건부터 점검하기
  • 가진 GPU가 SM100(NVIDIA)인지 Ascend 950인지 확인하라.
  • Python 3.12, GCC 13 이상, CUDA 13 충족 여부를 체크하라.
• 결정적 출력이 필요한 테스트에 옵션 적용하기
  • 회귀 테스트에서 같은 출력이 필요하면 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0으로 설정하라.
  • SamplingParams에 고정 seq_seed를 넘겨라(NVIDIA만).
• JSON 응답 강제에 구조화 출력 쓰기
  • 파싱 실패가 잦은 파이프라인이면 so_args에 schema_type과 schema를 넘겨라.
  • examples 폴더의 예제를 먼저 돌려 형식을 확인하라.
• 자체 서빙 도입 전 빠진 부분 계산하기
  • KV cache 시스템과 로드 밸런싱을 직접 만들어야 하는지 목록으로 정리하라.
  • 현재 vLLM·SGLang 서빙과 같은 조건으로 성능을 비교하라.

Try It

# 셸에서 실행 (Linux, Python 3.12 빈 가상환경, NVIDIA SM100 + CUDA 13 필요)

git clone https://github.com/deepseek-ai/DeepInfer
cd DeepInfer

# Ascend는 ascend로 바꾸고, 이 변수는 실행 환경에도 유지
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

# 첫 실행 시 deepseek-ai/DeepSeek-V4.1-Flash-1017이 Hugging Face 캐시로 내려받아짐
# 로컬 사본을 쓰려면: export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py

# 이어서 해 볼 것: 결정적 샘플링
# DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 python examples/offline_inference.py
# (SamplingParams에 고정 seq_seed 전달 필요)

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응

  DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://github.com/deepseek-ai/DeepInfer
• https://zhuanlan.zhihu.com/p/2095560295930508953
• https://mmoustafa.com/blog/so-you-want-to-use-openrouter/