arXiv · cs.LG· Dongyeun Lee, Amir Zandieh, Vahab Mirrokni, Junmo Kim, Insu Han·· 16 小时前
HyperVAttention:面向视频扩散的时空聚类高效稀疏注意力
HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion
AI 导读
HyperVAttention(HVA)是一种免训练稀疏注意力框架,通过 3D 局部窗口聚类与混合聚类策略降低聚类开销,并用硬件感知的簇合并提升 CTA 利用率。在 HunyuanVideo 上,HVA 相比全注意力实现 2.13 倍加速,其快速变体 HVA-Flash 达 2.23 倍,且在相近延迟下保真度高于 SVG2。该工作已被 NeurIPS 2026 接收。
来源:arXiv · cs.LG · arxiv.org