跳到正文
arXiv · cs.AI· Yuxin Mao, Zhen Qin, Jinxing Zhou, Hui Deng, Xuyang Shen, Bin Fan, Jing Zhang, Yiran Zhong, Yuchao Dai·· 20 小时前

LASAD:用空间感知衰减实现线性复杂度的自回归图像生成

Autoregressive Image Generation with Linear Complexity: A Spatial-Aware Decay Perspective

AI 导读

针对自回归图像生成中 Transformer 注意力二次成本过高的问题,研究者提出空间感知衰减线性注意力 LASAD,按原始 2D token 几何结构调节衰减,避免光栅扫描展平后行切换处的虚假局部性偏差。基于该层构建的 LASADGen 在 ImageNet 上相比线性注意力基线提升生成质量,同时较 Transformer 自回归模型降低推理成本与内存占用。

来源:arXiv · cs.AI · arxiv.org