多流残差扩散语言模型论文发布

研究者 Ekaterina Alimaskina 等人发布论文，为掩码扩散语言模型引入多条贯穿深度的残差流及自适应路由。在预训练任务上，双流相比标准残差连接将验证集重建困惑度降低 5.71%，外部语料平均降低 5.13%。 论文称，可见与掩码位置在无预定义角色下学到不同路由模式，因果干预显示该区分组织了读写路由；采用角色条件路由训练的模型可恢复增加第二条流所带来验证收益的一半。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。