文生图Transformer中的注意力汇聚现象研究

Binglei Li 等作者发表论文，系统分析了文生图 Transformer 中的注意力汇现象，发现双向扩散模型与自回归模型都存在注意力汇，但模式不同：自回归模型集中于首个 token 和全局 token，双向模型则出现在模态边界、文本区域和空间角落。 研究称，扰动汇相关注意力头带来的平均变化大于非汇对照；引入 register token 重新分配注意力汇后，部分配置可保持或小幅提升生成性能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。