如何构建现代扩散语言模型

一篇综述系统梳理了离散扩散模型的构建方法：这类模型从噪声或掩码序列出发并行生成 token，经多步去噪迭代精炼整段输出，推理速度可达每秒数千 token，并支持内置纠错与可控生成。文章覆盖其基础原理、核心算法与架构模块，以及在生物序列建模和自然语言中的应用，并讨论对 LLM 扩展法则的影响。过去两年离散扩散已在生物与语言领域扩展至数十亿参数，并有开放权重与商业版本发布。