Study note
How to Build a Diffusion Language Model
Properties
- Type
- Blogs
- Status
- 待读
- Domain
- AI / ML
- Category
- 深度学习、自动微分与实践
- Source
- kuleshov-group.github.io
- Vault note
library/articles/ai_ml/How-to-Build-a-Diffusion-Language-Model-6bf0b2b1772a521a.md
Summary
系统介绍扩散语言模型如何替代自回归模型的逐 token 生成：先用高斯扩散建立直觉，再推导以随机遮罩为噪声的 masked diffusion、训练目标与迭代采样。随后进一步讨论面向真实模型的 block diffusion、encoder-decoder 架构、remasking 与 uniform-state diffusion，以及采样蒸馏、可控生成和强化学习后训练。
Highlights
从“生成式 BERT”这一容易理解的起点，一路连接到现代扩散 LLM 的完整构件，并解释并行生成、可变长度、KV cache、迭代纠错和速度/质量权衡之间的关系。既包含概率模型与 ELBO，也覆盖 Gemma Diffusion、Nemotron Diffusion 等模型背后的工程选择，适合作为扩散式文本生成的总览教程。
Comments
Loading comments...