arXiv · cs.LG· Na\"il B. Khelifa, Richard E. Turner, Ramji Venkataramanan·· 16 小时前
递归训练扩散模型为何崩溃:极限分布与谱特性分析
Recursively Trained Diffusion Models: Limiting Collapse Distribution and Spectral Characterization
AI 导读
研究证明,即便分数估计完美且采样精确,反向扩散的提前停止仍会使递归训练几何收敛到唯一极限分布,该分布可刻画为数据分布不断高斯平滑后的无限混合。对该极限做 Hermite 谱分解显示,递归训练相当于低通滤波器,高阶非高斯结构被强烈衰减。据此提出的退火截断调度随轮次逐步缩短截断时间,可渐近消除递归累积误差,并在合成高斯混合与 CIFAR-10 上验证。
来源:arXiv · cs.LG · arxiv.org