arXiv · cs.LG· ZiDong Wang, Zeyu Lu, Di Huang, Cai Zhou, Xiaoyu Yue, Wanli Ouyang, and Lei Bai·· 1 天前
FiTv2：面向扩散模型的可扩展灵活视觉 Transformer
FiTv2: Scalable and Improved Flexible Vision Transformer for Diffusion Model
AI 导读
FiTv2 将图像视为动态尺寸的 token 序列，支持任意分辨率与宽高比生成，收敛速度达 FiT 的 2 倍。该架构引入 Query-Key 向量归一化、AdaLN-LoRA 模块、rectified flow 调度器和 Logit-Normal 采样器，并配合免训练外推技术实现分辨率外推。研究还发现更大模型的计算效率更优，代码与模型已全部开源。
来源：arXiv · cs.LG · arxiv.org