双向扩散与自回归 T2I Transformer 中的注意力汇研究

研究系统分析了文本到图像 Transformer 中的注意力汇现象，发现双向扩散模型与自回归模型均存在注意力汇但模式不同：自回归模型集中于首个 token 和全局 token，双向模型则出现在模态边界、文本区域和空间角落。扰动汇相关注意力头带来的平均变化大于非汇对照，引入 register token 重新分配注意力汇后部分配置可保持或小幅提升生成性能。