arXiv · cs.LG· Youngjoong Kim, Duhoe Kim, Woosung Kim, Jaesik Park·· 16 小时前
从流映射视角分析一致性模型训练不稳定性,提出改进自蒸馏方法 iSD
Stabilizing Consistency Training: A Flow Map Analysis and Self-Distillation
AI 导读
研究者从流映射视角对一致性模型做理论分析,解释训练与收敛行为如何导致退化解,并据此重新审视自蒸馏作为补救手段。为避免优化中梯度过大,其经验性重构目标函数得到改进的自蒸馏方法 iSD,并扩展出带训练时 classifier-free guidance 的 iSD-T,在所研究设定中提升了性能与可复现性。iSD 还可用于基于扩散的策略学习,且无需预训练扩散模型做初始化。
来源:arXiv · cs.LG · arxiv.org