arXiv · cs.AI· Wenwu Tang, Dong Wang, Yun Cheng, Olga Saukh·· 5 小时前
ReSeed：仅调第一步即可恢复扩散模型蒸馏丢失的多样性
A First-Step Bias Restores Lost Diversity in Diffusion Model Distillation
AI 导读
扩散模型蒸馏中，学生模型对同一提示词下不同初始噪声的响应在第一步高噪声阶段损失最大。ReSeed 只在学生模型第一步加一个 seed-response bias adapter，并对齐教师模型首段割线速度，其余权重与去噪步全部冻结。
来源：arXiv · cs.AI · arxiv.org