arXiv · cs.AI· Caiyi Sun, Yujing Sun, Siu-Ming Yiu·· 1 天前
ToDoPro:通过下采样自探测实现早期 token 削减,加速参考图生成
ToDoPro: Faster and Better Reference-Based Generation: Early Token Reduction via Downsampled Self-Probing
AI 导读
ToDoPro 提出一种无需额外参数的早期 token 削减方法,在参考图生成的主去噪阶段前,先对 2× 下采样参考图执行少量去噪步骤,用 DiT 自身探测 token 重要性并做分层削减。在三个基座模型和两个 benchmark 上,该方法显著加速推理并降低峰值 GPU 显存,同时通过过滤噪声参考 token 提升生成质量。代码即将开源。
来源:arXiv · cs.AI · arxiv.org