跳到正文
热点事件持续更新

线性注意力图像生成新方法LASAD提出

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

研究者 Yuxin Mao 等人提出空间感知衰减线性注意力 LASAD,用于自回归图像生成,以线性复杂度替代 Transformer 注意力的二次成本。该方法按图像 token 的原始 2D 几何结构调节衰减,避免光栅扫描展平后行切换处出现虚假的局部性偏差。 基于该层构建的 LASADGen 在 ImageNet 上相比线性注意力基线提升了生成质量,同时较 Transformer 自回归模型降低了推理成本与内存占用。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    LASAD:用空间感知衰减实现线性复杂度的自回归图像生成

    针对自回归图像生成中 Transformer 注意力二次成本过高的问题,研究者提出空间感知衰减线性注意力 LASAD,按原始 2D token 几何结构调节衰减,避免光栅扫描展平后行切换处的虚假局部性偏差。基于该层构建的 LASADGen 在 ImageNet 上相比线性注意力基线提升生成质量,同时较 Transformer 自回归模型降低推理成本与内存占用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。