跳到正文
热点事件持续更新

Difflet:面向AWS Trainium的扩散模型推理引擎

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Bin Ma等作者发布论文,提出面向AWS Trainium2的Diffusion Transformer推理引擎Difflet。该引擎让五条模型流水线共享同一编译后端,并按注意力头将联合注意力拆分到不同核心。 论文还称,Difflet由主机控制器在每个去噪步骤决定是运行去噪器还是复用其先前输出。这些设计针对Trainium2平台,论文未报告实际加速幅度或与其他引擎的对比结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · cs.LG
    Difflet:面向 AWS Trainium 的 Diffusion Transformer 快速推理引擎

    Difflet 是面向 AWS Trainium2 的 Diffusion Transformer 推理引擎,让五条模型流水线共享同一编译后端,并按注意力头将联合注意力拆分到不同核心。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。