SLA2：可学习路由的稀疏-线性注意力
热点事件持续更新
SLA2：可学习路由的稀疏-线性注意力
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Jintao Zhang 等作者提出 SLA2 稀疏-线性注意力方法：用可学习路由器在每次注意力计算时动态选择走稀疏分支还是线性分支，并以可学习比例融合两分支；同时通过量化感知微调引入低比特注意力，以降低量化误差。 作者称，在视频扩散模型上，SLA2 达到 97% 注意力稀疏度和 18.6 倍注意力加速，同时保持生成质量。上述效果为论文作者报告的结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
SLA2：带可学习路由与量化感知训练的稀疏-线性注意力报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · cs.LGSLA2：带可学习路由与量化感知训练的稀疏-线性注意力
SLA2 提出用可学习路由器动态决定每次注意力计算走稀疏还是线性分支，并给出以可学习比例融合两分支的更直接稀疏-线性注意力公式，还通过量化感知微调引入低比特注意力以降低量化误差。在视频扩散模型上，SLA2 实现 97% 注意力稀疏度和 18.6 倍注意力加速，同时保持生成质量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。