arXiv · cs.LG· Adrian Baule·· 16 小时前
掩码扩散即随机顺序吸附:一个可精确求解的并行解码模型
Masked diffusion as random sequential adsorption: an exactly solvable model for parallel decoding
AI 导读
研究将掩码扩散模型的并行解码误差映射为驱动多粒子系统的统计物理问题:对任意数据,并行生成误差等于生成过程相对逆向掩码过程的熵产;对马尔可夫数据,生成等价于带标签间隙的随机顺序吸附过程,并可对任意步数精确求解。多步情况下误差由 token 间互信息给出的热力学度量决定,最优调度是该度量的测地线;文本相关性越长,误差越集中在生成初期,先小步后加速的调度在路径误差和困惑度上均更优且所需步数更少。
来源:arXiv · cs.LG · arxiv.org