扩散语言模型的多流残差计算

研究者为掩码扩散语言模型引入多条贯穿深度的残差流及自适应路由，在预训练任务上，双流相比标准残差连接将验证集重建困惑度降低 5.71%，外部语料平均降低 5.13%。可见与掩码位置在无预定义角色下学到不同路由模式，因果干预显示该区分组织了读写路由。采用角色条件路由训练的模型可恢复增加第二条流所带来验证收益的一半。