arXiv · cs.LG· Jintao Zhang, Haoxu Wang, Kai Jiang, Kaiwen Zheng, Youhe Jiang, Ion Stoica, Jianfei Chen, Jun Zhu, Joseph E. Gonzalez·· 3 小时前
SLA2：带可学习路由与量化感知训练的稀疏-线性注意力
SLA2: Sparse-Linear Attention with Learnable Routing and Quantization-aware Training
AI 导读
SLA2 提出用可学习路由器动态决定每次注意力计算走稀疏还是线性分支，并给出以可学习比例融合两分支的更直接稀疏-线性注意力公式，还通过量化感知微调引入低比特注意力以降低量化误差。在视频扩散模型上，SLA2 实现 97% 注意力稀疏度和 18.6 倍注意力加速，同时保持生成质量。
来源：arXiv · cs.LG · arxiv.org