OpenDLSS: NVIDIA DLSS 5 Neural Rendering 네트워크의 Vulkan 재구현

Who Should Read

GPU 위에서 트랜스포머 추론을 직접 돌리거나 FP8 커널 최적화에 관심 있는 그래픽·추론 인프라 개발자

Core Mechanics

• 원본과 바이트까지 똑같다
  • 71블록 Swin/ViT 네트워크를 DLSS-NR build 310.8.0과 같은 구조로 구현했다.
  • 최종 이미지뿐 아니라 75개 블록 경계의 중간값도 byte for byte로 일치한다.
• 업스케일러가 아니라 재렌더링 네트워크다
  • 엔진이 이미 그린 프레임을 다시 그리며, 주입한 노이즈로 디테일을 만들고 스타일 설정에 따라 톤·구조·피부를 조정한다.
  • 입출력 해상도는 같다.
• 입력은 프레임·노이즈·이전 프레임·스칼라
  • 입력은 렌더 프레임의 LDR 프록시, 가우시안 노이즈 3레인, 재투영한 이전 프레임 출력, 조건 스칼라 5개다.
  • 출력은 픽셀당 f32 4채널로, RGB 잔차와 시간 블렌딩 logit 1개다.
• RTX 4070 SUPER에서 1080p 7.8ms
  • 네트워크 전체를 프레임당 돌린 40프레임 중 최솟값 기준이며, 디스패치는 해상도와 무관하게 241개다.
  • 768x768은 2.8ms, 1440p는 12.6ms, 2160p는 29.3ms다.
• 브라우저 WebGPU 포트도 같은 바이트를 낸다
  • 텐서 코어와 FP8 없이 같은 캡처에 대해 bit-exact다.
  • 512x512에서 72ms로, Vulkan 구현의 2.7ms보다 느리다.

Community Reactions

How to Apply

• fixture 검증 구조를 가져다 쓰기
  • 자체 추론 커널을 만들 때 블록 경계마다 참조 출력을 저장해 바이트 비교하는 방식을 도입하라.
  • 이 저장소의 parity 명령이 그 예이며 docs/numerics.md에 정확성 기준이 있다.
• 최적화 스위치를 하나씩 꺼 보며 정확성 확인하기
  • DLSS5VK_CHAIN=0이나 DLSS5VK_UNFUSED=1처럼 환경 변수로 최적화를 끄고 출력이 같은지 비교하라.
  • 모든 스위치는 출력을 byte-identical로 유지하도록 설계돼 있다.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://github.com/maanHimself/OpenDLSS-NR
• https://github.com/bhouston/three-dlss-nr
• https://github.com/aloshdenny/open-dlss
• https://github.com/vosen/ZLUDA