理论分析解释掩码扩散模型缓解反转诅咒

Moongyu Jeon 等作者发表的理论分析称，掩码扩散语言模型（MDM）比自回归模型更少出现反转诅咒，原因在于共享的 Transformer 参数存储了 token 对证据，而相对位置编码只通过 query 和 key 路由注意力，不改变被检索的 value 侧证据，从而在正向与反向位置条件之间形成参数级耦合。 该结论来自论文对上述机制的理论推导，作者称这种耦合使正向与反向位置条件之间能够迁移，但报道未给出实验验证或适用范围。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。