arXiv · cs.LG· Chuyu Hu, Huanran Chen, Shitong Shao, Yinpeng Dong·2026-10-19 12:00· 2 小时前

大规模扩散模型不能只靠 EMA：LR decay 与 Schedule-Free 优化更优

Large Diffusion Models Need More Than EMA

AI 导读

针对大规模扩散模型普遍采用恒定学习率加 EMA 的训练方式，研究指出 EMA 并非唯一适配方案：理论分析显示恒定步长轨迹的平均存在固有优化局限，而 LR decay 与 Schedule-Free 优化在标准非凸假设下具备收敛保证。

来源：arXiv · cs.LG · arxiv.org