Continuous Diffusion Language Models(CDLM)의 재등장

Who Should Read

autoregressive LLM 말고 diffusion 기반 텍스트 생성이 어디까지 왔는지 궁금한 LLM API 개발자

Core Mechanics

• 연속 확산이 2023년에 사라졌다가 돌아오는 중
  • 2022년에 Diffusion-LM, SED, CDCD 등 연속 확산 논문이 쏟아졌다.
  • 2023년 이후 신규 연구는 거의 전부 이산(discrete) 확산으로 넘어갔다.
  • 저자는 최근 연구가 늘면서 흐름이 다시 바뀌는 중이라고 본다.
• CDLM은 토큰을 임베딩해서 노이즈를 얹는 방식
• 토큰을 연속 벡터(임베딩)로 바꾸고 거기에 가우시안 노이즈를 입힌다.
  • 이산 확산과는 연산 순서만 다르다. 이산은 토큰 손상 후 임베딩, 연속은 임베딩 후 손상이다.
  • 이미지 확산에서 쓰던 샘플링·증류 도구를 가져다 쓸 수 있다는 게 매력이다.
• 학습 효율 격차가 퇴출의 한 이유로 거론됨
• 2023년 5월 Gulrajani & Hashimoto가 Plaid-1B의 학습 효율을 측정했다.
  • autoregressive 기준선보다 64배 덜 효율적이었다.
  • 저자는 ChatGPT 이후 성능 경쟁으로 초점이 옮겨간 것도 요인일 수 있다고 쓰되, 확정은 아니라고 밝힌다.
• CDLM이 잘 돌아가려면 네 가지 재료가 필요함
• 임베딩 전략, 손실 함수, 노이즈 스케줄, 그리고 self-conditioning이다.
  • 임베딩을 모델과 함께 학습하면 임베딩이 하나로 뭉치거나 폭주할 수 있다.

Community Reactions

• ChatGPT 이전에도 디코더가 이미 지배적이었다는 반론
  • 2020년에도 채팅용으로는 디코더가 압도적이었다는 의견이다.
  • 대중화를 이끈 건 RLHF와 DPO 같은 RL 계열이었다는 주장이다.
  • 확산은 토큰을 만드는 더 복잡한 방법일 뿐이라 안 뜬 것이라는 의견이다.
• 확산이면 생각 메모를 출력과 함께 쓸 수 있다는 기대
  • 지금 모델은 압축된 CoT에 의존해 토큰당 지능을 올린다는 의견이다.
  • 확산이면 스텝당 토큰을 더 내보내는 식으로 해결할 수 있다는 기대다.
• autoregressive 샘플링이 근본적으로 한계가 있다는 의견
  • 확산이 더 일관된 방식이라고 보는 댓글이 있었다.
  • 다만 autoregressive LLM에도 아직 손볼 여지가 많다는 의견이 함께 있었다.

How to Apply

• 지금 쓰는 LLM 호출에서 병목이 순차 생성인지 확인하기
  • 오늘 30분 동안 서비스 로그에서 응답 지연 중 출력 토큰 생성 시간 비중을 재 본다.
  • 비중이 크면 확산 기반 병렬 생성 소식을 추적할 가치가 있다.
• 채워 넣기·편집형 기능은 확산 계열 후보로 따로 적어 두기
  • 문장 중간 채우기, 제약 조건 생성 같은 기능 목록을 뽑는다.
  • 원문은 이산 확산이 이런 작업에 이점이 있다고 소개하므로 후보 리스트에 넣는다.
• CDLM 논문을 읽을 때 네 재료 체크리스트로 비교하기
  • 임베딩, 손실, 노이즈 스케줄, self-conditioning을 항목별로 표에 채운다.
  • 어느 부분이 달라서 성능이 갈리는지 한눈에 본다.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 읽을 논문 비교표 만들기)

나는 LLM API를 쓰는 개발자이고 ML 전공은 아니야. 아래 논문 초록을 읽고 continuous diffusion language model 관점에서 표로 정리해줘.

논문 초록: {{논문 초록}}

항목: 임베딩 전략(explicit/pre-trained/jointly learned), 손실 함수(MSE/cross-entropy/likelihood bound), 노이즈 스케줄 처리, self-conditioning 사용 여부.
초록에 없는 항목은 '언급 없음'이라고 써줘. 추측은 하지 마.

이어서: 두 번째 논문도 같은 표로 만들어서 나란히 비교해줘.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://sander.ai/2026/08/24/continuous-dlms.html