arXiv · cs.LG· Bin Ma, Min Yu, Vijay Kodamalla, Jialin Liu, Dong Li·2026-10-19 12:00· 2 小时前

Difflet：面向 AWS Trainium 的 Diffusion Transformer 快速推理引擎

DIFFLET: A Fast Inference Engine for Diffusion Transformer Models on AWS Trainium

AI 导读

Difflet 是面向 AWS Trainium2 的 Diffusion Transformer 推理引擎，让五条模型流水线共享同一编译后端，并按注意力头将联合注意力拆分到不同核心。

来源：arXiv · cs.LG · arxiv.org