arXiv · cs.LG· Roy Turgeman, Tom Tirer·· 16 小时前
模型崩溃可以避免:真实数据消失下的迭代高斯估计判据
Model Collapse Is Avoidable Even as Real Data Vanishes: A Sharp Criterion for Iterative Gaussian Estimation
AI 导读
一项理论研究证明,即使训练中不区分真实数据与模型生成数据,只要真实数据占比保持任意大于零的固定值,模型崩溃就能避免。该结论基于对多元高斯分布均值和协方差的迭代估计,给出了一致性与2-Wasserstein距离收敛到零的等价条件。真实数据占比趋近于零时均值估计收敛速度会变慢,CIFAR-10 上的扩散模型迭代训练实验与理论相符。
来源:arXiv · cs.LG · arxiv.org