arXiv · cs.LG· Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng Xi, Jianfei Chen, Jun Zhu·· 3 小时前
SpargeAttention2：通过 Top-k+Top-p 混合掩码与蒸馏微调实现可训练稀疏注意力
SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning
AI 导读
SpargeAttention2 是一种可训练稀疏注意力方法，在视频扩散模型上实现 95% 注意力稀疏度和 16.2 倍注意力加速，同时保持生成质量。它结合 Top-k 与 Top-p 的混合掩码规则以在高稀疏度下更稳健地掩码，并采用受蒸馏启发的微调目标，在稀疏注意力微调中更好地保持生成质量，持续优于此前的稀疏注意力方法。
来源：arXiv · cs.LG · arxiv.org