arXiv · cs.LG· Yaqi Qiao, Ping He, Songrun Xie, Ayush Barik, Chensong Zhang, Zhengzhong Tu, Fan Lai·· 19 小时前
FlashDiff:面向扩散模型服务的高效区域执行与调度系统
FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving
AI 导读
FlashDiff 是一个通过自适应区域执行与调度提升扩散模型推理效率的服务系统,在真实图像、视频和音频负载上把端到端服务延迟降低 30-97%,吞吐提升 1.2-2.2x。它利用早期注意力信号将 latent 分解为连贯执行区域,由轻量运行时控制器跳过低影响更新,并用亲和感知在线调度器在 GPU 间均衡残余负载、复用回收的算力。
来源:arXiv · cs.LG · arxiv.org