综述梳理离散扩散语言模型构建方法

Volodymyr Kuleshov 等人发表综述，系统梳理离散扩散语言模型的构建方法。这类模型从噪声或掩码序列出发并行生成 token，经多步去噪迭代精炼整段输出，推理速度可达每秒数千 token，并支持内置纠错与可控生成。 综述覆盖其基础原理、核心算法与架构模块，以及在生物序列建模和自然语言中的应用，并讨论对 LLM 扩展法则的影响。文章称，过去两年离散扩散已在生物与语言领域扩展至数十亿参数，并有开放权重与商业版本发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。