arXiv · cs.LG· Samson Gourevitch, Yazid Janati, Eric Moulines, Eric P. Xing, Alain Durmus, Giacomo Zanella·· 19 小时前
面向离散扩散模型的 ODE 采样器：指数残差流（ERFs）
An ODE-based Sampler for Discrete Diffusion Models
AI 导读
研究者提出指数残差流（ERFs），为离散扩散模型构建了类似概率流 ODE 的确定性采样框架，并证明该构造能保持原扩散模型的边缘分布。方法为每个 token 和位置引入连续残差变量，残差按分段 ODE 确定性演化、归零时离散状态切换，并给出实用离散化方案，专门适配 masked 与 uniform 扩散。ERFs 的确定性轨迹支持一致性蒸馏，在代码与文本生成等多项基准上取得优于此前方法的实证提升。
来源：arXiv · cs.LG · arxiv.org