离散扩散模型利用方向不对称性解决前瞻规划任务

离散扩散模型等非自回归语言模型能利用前瞻规划任务中固有的方向不对称性，在训练效率上超越自回归模型。机制研究发现，图节点正向遍历需要复杂的序列规划，而反向路径是确定性的，非自回归模型因此学到反向解码模式，将 l 阶前瞻问题化简为一系列简单的一阶转移。潜在空间分析进一步证实两类模型在生成时形成了不同的内部表征。