도형준 지식 볼트

Diffusion-LM 개요와 최근 동향: 텍스트 확산의 3계보와 2025-26 모델 웨이브

9 min read

Diffusion-LM 개요와 최근 동향: 텍스트 확산의 3계보와 2025-26 모델 웨이브

상위: 00.Diffusion MOC

개요

자기회귀(AR) LLM은 토큰을 왼쪽에서 오른쪽으로 한 개씩 뽑는다. **Diffusion-LM(dLLM)**은 이 순차 제약을 버리고, 이미지 확산처럼 denoising 과정으로 텍스트를 병렬 생성한다. 손상(noise)된 시퀀스에서 시작해 여러 스텝에 걸쳐 전체 위치를 동시에 복원한다. 202223년에는 연속 임베딩 확산이 주류였으나 AR과의 스케일 경쟁에서 밀렸고, 202526년에 이산 마스킹 계열이 LLaMA3급 성능을 내면서 급성장해 오픈웨이트·상용 모델이 쏟아졌다. 장점은 병렬 디코딩으로 인한 지연 감소, 양방향 문맥(reversal curse 완화), native infilling(중간 채우기), 그리고 추론 시 스텝 수로 품질을 다이얼링하는 test-time scaling이다.

원리와 핵심 개념

3계보

계보손상 방식대표현황
연속(embedding-space)임베딩/심플렉스 위 가우시안 확산Diffusion-LM, Plaid, SSD-LM2022~23 주류, 스케일 경쟁서 밀림
이산/마스킹(discrete/absorbing)토큰을 직접 손상(주로 [MASK])D3PM→SEDD→MDLM→LLaDA2025~26 사실상 표준
블록/semi-ARAR↔확산 보간, KV 캐시 회복BD3LM, SDAR, Seed Diffusion실용화의 다리

이산 마스킹은 forward에서 토큰을 확률적으로 [MASK](흡수 상태)로 바꾸고, reverse에서 마스킹된 위치를 복원하도록 학습한다. 이는 MLM(BERT류)의 확산적 일반화로 볼 수 있어 안정적으로 스케일한다. 블록/semi-AR은 시퀀스를 블록으로 나눠 블록 사이는 AR처럼, 블록 안은 확산처럼 처리해 AR이 누리던 KV 캐시를 되살린다.

기초 패러다임(연대)

이산 확산의 계보는 다음처럼 이어진다.

  • D3PM(Google): 흡수/[MASK] 상태를 포함한 이산 확산의 기초 프레임.
  • Diffusion-LM(Stanford): 연속 임베딩 공간 확산으로 제어 가능한 생성을 보인 초기작.
  • SEDD(score entropy discrete diffusion, ICML’24 best paper): score entropy로 이산 확산의 학습 목표를 정립.
  • MDLM(masked diffusion): 마스킹=MLM 혼합 관점으로 단순·강력한 목표를 제시, LLaDA·Dream의 원형.
  • SMDM: MDM(masked diffusion model)의 스케일링 법칙을 규명.
  • BD3LM / Block Diffusion: AR↔확산을 보간하고 KV 캐시를 회복해 실용 서빙에 다리를 놓음.

실전: 2025-26 모델 웨이브

주의: 아래 커머셜 모델의 속도·처리량 수치는 벤더 발표 기반의 비공식 표기로 다룬다.

오픈웨이트

  • LLaDA 8B: from scratch로 학습한 대표 마스킹 dLLM, LLaMA3급 성능으로 화제. 후속으로 LLaDA 1.5(VRPO 정렬), LLaDA-MoE, 그리고 LLaDA2.0(mini 16B / flash 100B) — 알려진 첫 100B급 dLLM 라인.
  • Dream 7B / Dream-Coder: Qwen2.5로 초기화한 강력한 오픈 dLLM.
  • DiffuCoder(Apple), Eso-LM, SDAR, Seed Diffusion(ByteDance, semi-AR), TESS 2, DiffusionGemma(GDM 계열) 등 코드·범용 모델이 잇달아 공개.
  • 멀티모달: LLaDA-V, MMaDA — 확산 백본에 비전을 결합.

커머셜/API

  • Mercury / Mercury Coder(Inception Labs): 알려진 첫 상용 dLLM, 저지연 코드 생성을 표방(수치는 비공식).
  • Gemini Diffusion(Google DeepMind): 확산 기반 텍스트 생성 실험 라인(수치는 비공식).

추론·디코딩과 학습

추론

병렬 디코딩과 KV 캐시 회복이 핵심 과제다.

  • Fast-dLLM: 학습 없이 블록 근사 KV 캐시 + confidence-threshold 병렬 디코딩으로 가속.
  • ReMDM: remasking으로 이미 확정한 토큰을 다시 수정 가능하게 해, 추론 시 compute↔품질 다이얼을 제공.
  • KV 캐시: 원래 양방향 어텐션이라 캐시가 불가했으나, 블록/Eso-LM/전용 엔진(dInfer)으로 회복.

학습·포스트트레이닝

  • A2D(AR-to-Diffusion): 사전학습된 AR 모델(GPT/LLaMA/Qwen)을 <200B 토큰의 추가 학습만으로 확산 모델로 변환. DiffuLLaMA, Dream, SDAR, LLaDA2.0이 이 방식을 활용해 from-scratch 비용을 크게 줄인다.
  • RL 정렬: d1 / diffu-GRPO(추론 강화), coupled-GRPO(Apple), VRPO(LLaDA 1.5).

AR LLM과 비교

축AR LLMDiffusion-LM
생성 방향왼→오 순차병렬(전체 위치 동시)
문맥단방향(causal)양방향(reversal curse 완화)
KV 캐시기본 지원블록/전용 엔진으로 회복
infilling약함native
test-time scaling토큰 수 고정스텝 수로 품질 조절
성숙도·생태계매우 성숙급성장 중, 툴링 초기

함정과 베스트프랙티스(난제)

  • ParallelBench가 드러낸 품질↔병렬 트레이드오프: 토큰 간 의존이 강한 과제에서 병렬 스텝을 늘리면 품질이 붕괴한다. 원인은 여러 위치를 동시에 복원할 때 가정하는 조건부 독립이 실제 언어의 강한 의존과 충돌하기 때문. 즉 “한 번에 많이 뽑기”는 공짜가 아니다.
  • likelihood gap: 확산 목표는 상한(ELBO)을 최적화하므로 AR과 perplexity를 직접 비교하기 어렵다.
  • long-context/KV: 양방향성 때문에 긴 컨텍스트에서 캐시·효율이 여전히 미해결 영역.
  • 벤더 수치 신중 취급: 커머셜 dLLM의 속도 주장은 하드웨어·배치·측정 조건에 따라 달라지므로 비공식으로 다룬다.

실무 관점에서는 (1) 강한 의존이 없는 병렬성 친화 과제(코드 채우기, 구조화 출력)에서 dLLM의 지연 이점을 먼저 노리고, (2) A2D로 기존 AR 자산을 저비용 전환해 실험하며, (3) Fast-dLLM·dInfer 같은 추론 엔진으로 KV 캐시를 회복해 서빙 효율을 확보하는 순서가 합리적이다.

정리

Diffusion-LM은 AR의 순차 제약 대신 denoising으로 텍스트를 병렬 생성하는 계열로, 연속 / 이산 마스킹 / 블록·semi-AR 3계보로 나뉜다. 현재 표준은 이산 마스킹(D3PM→SEDD→MDLM→LLaDA)이며, 2025~26년 LLaDA(→2.0 100B)·Dream·DiffuCoder·Seed Diffusion과 상용 Mercury·Gemini Diffusion으로 확산됐다. Fast-dLLM·ReMDM·dInfer가 추론을, A2D·diffu-GRPO가 학습을 실용화한다. 핵심 난제는 ParallelBench가 보인 품질↔병렬 트레이드오프와 likelihood gap이다. AR과의 위치는 21.LLM & GenAI에서, 이미지/영상 확산은 00.Diffusion MOC 1절에서 교차하며, dLLM 서빙은 오픈소스 서빙 - KServe·Triton·vLLM과 이어진다.

자료

  • 서베이: arxiv 2508.10875(+ repo VILA-Lab/Awesome-DLMs), 2506.13759.
  • 코드: ZHZisZZ/dllm, kuleshov-group/mdlm, kuleshov-group/bd3lm, louaaron/Score-Entropy-Discrete-Diffusion(SEDD), ML-GSAI/LLaDA, HKUNLP/DiffuLLaMA, NVlabs/Fast-dLLM.

키워드: #diffusion-lm #llm LLaDA SEDD MDLM BD3LM Fast-dLLM dLLM A2D

그래프 뷰

백링크