arXiv · cs.AI· Mahesh Bhosale, Yuanhao Zhai, Siwei Lyu, Junsong Yuan, David Doermann, Defang Chen·· 16 小时前
FisherDistill:用闭式 Fisher 判别器做扩散分布蒸馏
FisherDistill: Diffusion Distribution Distillation via Closed-Form Fisher Critics
AI 导读
FisherDistill 提出用 Fisher 线性判别分析替代学习型对抗判别器,为扩散模型蒸馏提供轻量精修信号。该方法利用冻结教师模型的中间表示估计真实与生成样本的一阶、二阶统计量,推导出闭式 Fisher 方向以最大化分离特征分布。在多个蒸馏框架上,它持续提升生成质量并显著缩小与对抗精修版本的差距,且无需额外判别器及其优化循环。
来源:arXiv · cs.AI · arxiv.org