跳到正文
热点事件持续更新

BCSM:离散扩散模型少步蒸馏新目标

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

Peng Tu 等作者提出双向中心化分数匹配(BCSM),作为离散扩散模型少步蒸馏的训练目标,针对 token-wise KL 监督不足的问题。该方法用 O(K) 双向活跃集把成对比较降至 O(K²),再分解为 O(K) 目标,并引入跨时间步转移对齐。 作者报告的实验结果显示,BCSM 可实现最高 6 倍 NFE 降低;单步推理下 HumanEval 相对提升 16.9%、MMMU 相对提升 15.1%。这些数字来自论文自述,尚待独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv · cs.AI
    BCSM:面向离散扩散模型蒸馏的双向中心化分数匹配

    针对离散扩散模型少步蒸馏中 token-wise KL 监督不足的问题,研究者提出双向中心化分数匹配(BCSM),用 O(K) 双向活跃集把成对比较降至 O(K²) 并分解为 O(K) 目标,同时引入跨时间步转移对齐。实验显示其可实现最高 6 倍 NFE 降低,单步推理下 HumanEval 相对提升 16.9%、MMMU 相对提升 15.1%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。