arXiv · cs.LG· Zongze Wu (Adobe), Xianbang Wang (MIT), Zhengyang Geng (Adobe), Mingdeng Cao (Adobe), Zhoutong Zhang (Adobe), Richard Zhang (Adobe), Eli Shechtman (Adobe), Ruiming Cao (Adobe)·· 3 小时前
更好的 Critic 对分布匹配蒸馏（DMD）至关重要
A Better Critic Matters for Distribution Matching Distillation
AI 导读
研究指出，DMD 蒸馏中固定小型 critic 而增大 teacher 会降低学生质量甚至导致训练崩溃，让 critic 与 teacher 同步扩展的 joint scaling 可避免崩溃。
来源：arXiv · cs.LG · arxiv.org