递归训练扩散模型为何崩溃：极限分布与谱分析

剑桥大学等机构的 Na"il B. Khelifa、Richard E. Turner、Ramji Venkataramanan 发表论文，证明递归训练扩散模型即便分数估计完美、采样精确，反向扩散的提前停止仍会使训练几何收敛到唯一极限分布；该分布可刻画为数据分布不断高斯平滑后的无限混合。 对该极限做 Hermite 谱分解显示，递归训练相当于低通滤波器，高阶非高斯结构被强烈衰减，这解释了模型崩溃。作者据此提出退火截断调度：随轮次逐步缩短截断时间，可渐近消除递归累积误差，并在合成高斯混合与 CIFAR-10 上验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。