DeepSeek-V4.1 Flash: KV Cache 압축을 끝까지 밀어붙인 아키텍처

Who Should Read

긴 컨텍스트 에이전트 워크로드에서 prefill 비용과 KV Cache 저장 부담이 커 고민인 LLM 인프라·백엔드 개발자

Core Mechanics

• KV Cache 압축이 목표다
  • 장기 에이전트 작업은 컨텍스트가 계속 길어지고 툴 호출마다 prefill 부하가 생긴다.
  • HBM과 외부 SSD의 KV Cache 저장 압력이 스케일링의 걸림돌이라는 설명이다.
• V4 Flash 대비 KV 1/4, 1/8
  • 같은 시퀀스 길이에서 런타임 KVCache는 DeepSeek-V4-Flash의 약 1/4이다.
  • 영구 저장 KVCache는 약 1/8이고, 전체 성능은 V4-Flash보다 낫다고 한다.
• 레이어 절반만 prefill
  • 40개 레이어 중 앞 20개(Encoder)만 prefill에 쓰고, 뒤 20개(Decoder)는 Encoder 끝 표현에서 만든 KV를 공유한다.
  • 활성 파라미터는 prefill 8B, decode 16B다(전체 552B, 컨텍스트 최대 1M 토큰).
• 세 방향으로 KV를 줄였다
  • 채널 축은 512차원 latent 하나로 모든 어텐션 헤드의 key·value를 공유한다.
  • 시퀀스 축은 Encoder가 인접 2개 위치를 1개 캐시 항목으로 합친다.
  • 레이어 축은 Encoder 캐시 3개와 Decoder 캐시 1개만 유지한다.
• FP4와 합쳐 토큰당 약 890바이트
  • 글로벌 main KV와 Indexer의 저장 증가량이 FP4 양자화를 더해 토큰당 약 890바이트다.

Community Reactions

• 긴 세션에서도 유지됐다는 경험
  • 자동 증분 컨텍스트 컴팩터와 DS41f를 함께 썼더니 모델은 300k~400k 구간인데 유효 세션은 약 5M까지 갔다는 경험이다.
  • 그 상태에서도 속도와 지능이 유지됐다고 한다.
• 프리뷰 버전 속도 경험
  • 400tok/s 프리뷰를 써 봤더니 정말 놀라웠다는 경험이다.
  • 하루 동안 컴팩션을 반복시키며 어려운 문제 몇 개를 맡겼다고 한다.
• prefix 캐싱 효과 평가
  • KV Cache 압축과 prefix 캐싱 덕분에 쿼리 비용이 사실상 공짜에 수렴한다는 의견이다.

How to Apply

• 내 에이전트의 prefill 비중 측정하기
  • 오늘 로그에서 요청별 입력 토큰 대비 출력 토큰 비율과 캐시 미스율을 집계하라.
  • 입력 지배형이면 prefill 8B/decode 16B 구조의 이점이 큰 워크로드인지 판단하라.
• KV 저장 비용을 토큰당 바이트로 환산하기
  • 지금 쓰는 모델의 토큰당 KV 크기에 prefix 보존 길이를 곱해 SSD·호스트 메모리 소요를 계산하라.
  • 원문 수치인 토큰당 약 890바이트와 비교해 저장 병목 여부를 확인하라.
• 긴 에이전트 세션에 컨텍스트 컴팩터 붙이기
  • 세션이 길어지는 에이전트에 자동 증분 컴팩션을 켜고 압축 후 품질을 비교하라.
  • prefix가 안정적으로 유지되도록 시스템 프롬프트와 툴 정의를 앞쪽에 고정하라.

Try It

# 논문 방법의 간이 버전: Claude나 ChatGPT에 붙여넣어 내 서비스의 KV Cache 병목을 점검하는 프롬프트

당신은 LLM 서빙 인프라 엔지니어입니다. 아래 정보를 바탕으로 KV Cache 병목을 진단하세요.
- 평균 입력 토큰: {{입력 토큰}}
- 평균 출력 토큰: {{출력 토큰}}
- 에이전트 한 작업당 툴 호출 횟수: {{툴 호출 수}}
- prefix 캐시 적중률: {{적중률}}
- 사용 모델과 토큰당 KV 크기: {{모델}}

질문: (1) prefill 비용과 KV 저장 비용 중 어느 쪽이 더 큰 병목인가? (2) 레이어 공유, 시퀀스 압축, 저정밀도(FP4) 같은 압축 방향 중 어디에 먼저 투자할 만한가? (3) 내일 해 볼 측정 항목 3가지를 알려주세요.

이어서 해 볼 것: 답변에서 나온 측정 항목을 실제 로그로 계산해 다시 붙여넣고 재진단을 요청하세요.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://zartbot.github.io/blog/model_arch/dsv41flash_arch/en.html
• https://zartbot.github.io/blog/