arXiv · cs.LG· Enrico Ventura, Beatrice Achilli, Luca Ambrogioni, Carlo Lucibello·· 7 小时前
高维引导扩散模型中失真的涌现机制分析
Emergence of Distortions in High-Dimensional Guided Diffusion Models
AI 导读
研究用统计物理工具分析了无分类器引导(CFG)采样分布与真实条件分布之间的失配问题。在高维高斯混合模型中,动态平均场理论显示当类别数随数据维度指数增长时失真持续存在,而在次指数区间因动力学相变而消失;无限类别极限下失真无论维度如何都不可避免。标准 CFG 调度无法阻止方差收缩,作者提出含负引导窗口的引导调度,在真实潜扩散模型中同时改善类别可分性与样本多样性。
来源:arXiv · cs.LG · arxiv.org