北大团队提出SFA注意力机制，262K token下前向加速357倍
热点事件持续更新
北大团队提出SFA注意力机制，262K token下前向加速357倍
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
北京大学 Zixuan Huang 等提出 Scale-Free Attention（SFA）注意力机制，通过均值池化、token 计数校正和无标度空间层级上的共享 softmax，将注意力复杂度降至 O(N log N)。团队称，其 Triton 实现在 262,144 token 下相较 FlashAttention 取得 357.3 倍前向、265.6 倍反向加速。 在 ImageNet 256×256 分辨率上从头训练 PixelFlow 40 个 epoch 后，SFA 在包括全注意力在内的五种注意力机制中生成质量最佳；将 Stable Diffusion 3.5 Medium 的注意力替换为 SFA，在同等微调预算下保持原全注意力版本的生成质量。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.GR北大团队提出 SFA：受统计物理启发的扩散 Transformer 注意力机制，262K token 下前向加速 357 倍
北京大学团队提出 Scale-Free Attention（SFA），通过均值池化、token 计数校正和无标度空间层级上的共享 softmax，将注意力复杂度降至 O(N log N)。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。