arXiv · cs.AI· Peng Tu, Baoyou Chen, Haoyuan Xia, Zilong Dong, Weihao Yuan, Siyu Zhu·· 15 小时前
BCSM:面向离散扩散模型蒸馏的双向中心化分数匹配
Bidirectional Centered Score Matching for Discrete Diffusion Distillation
AI 导读
针对离散扩散模型少步蒸馏中 token-wise KL 监督不足的问题,研究者提出双向中心化分数匹配(BCSM),用 O(K) 双向活跃集把成对比较降至 O(K²) 并分解为 O(K) 目标,同时引入跨时间步转移对齐。实验显示其可实现最高 6 倍 NFE 降低,单步推理下 HumanEval 相对提升 16.9%、MMMU 相对提升 15.1%。
来源:arXiv · cs.AI · arxiv.org