掩码扩散并行解码获可解模型
热点事件持续更新
掩码扩散并行解码获可解模型
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Adrian Baule 提交的论文提出,掩码扩散模型的并行解码误差可映射为驱动多粒子系统的统计物理问题:对任意数据,并行生成误差等于生成过程相对逆向掩码过程的熵产。 论文称,对马尔可夫数据,生成过程等价于带标签间隙的随机顺序吸附过程,可对任意步数精确求解;多步情况下误差由 token 间互信息给出的热力学度量决定,最优调度是该度量的测地线。 论文还称,文本相关性越长,误差越集中在生成初期,先小步后加速的调度在路径误差和困惑度上均更优,且所需步数更少。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
掩码扩散即随机顺序吸附:一个可精确求解的并行解码模型报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv · cs.LG掩码扩散即随机顺序吸附:一个可精确求解的并行解码模型
研究将掩码扩散模型的并行解码误差映射为驱动多粒子系统的统计物理问题:对任意数据,并行生成误差等于生成过程相对逆向掩码过程的熵产;对马尔可夫数据,生成等价于带标签间隙的随机顺序吸附过程,并可对任意步数精确求解。多步情况下误差由 token 间互信息给出的热力学度量决定,最优调度是该度量的测地线;文本相关性越长,误差越集中在生成初期,先小步后加速的调度在路径误差和困惑度上均更优且所需步数更少。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。