研究：扩散模型训练可用LR decay与Schedule-Free替代EMA
热点事件持续更新
研究：扩散模型训练可用LR decay与Schedule-Free替代EMA
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Chuyu Hu 等作者发表研究，质疑大规模扩散模型普遍采用“恒定学习率加 EMA”的训练方式是否唯一适配。其理论分析称，恒定步长轨迹的平均存在固有优化局限，而 LR decay 与 Schedule-Free 优化在标准非凸假设下具备收敛保证，因此可能是更强的替代方案。 该研究比较的是扩散模型训练中 EMA 与 LR decay、Schedule-Free 优化三种做法，结论指向后两者在优化层面更优；这是作者基于理论分析提出的主张，报道未给出大规模实验上的效果对比。
AI 根据报道生成 · 1 小时前更新
最新进展10月19日 12:00
大规模扩散模型不能只靠 EMA：LR decay 与 Schedule-Free 优化更优报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv · cs.LG大规模扩散模型不能只靠 EMA：LR decay 与 Schedule-Free 优化更优
针对大规模扩散模型普遍采用恒定学习率加 EMA 的训练方式，研究指出 EMA 并非唯一适配方案：理论分析显示恒定步长轨迹的平均存在固有优化局限，而 LR decay 与 Schedule-Free 优化在标准非凸假设下具备收敛保证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。