MoDDiT提出token路由架构，可省算力
热点事件持续更新
MoDDiT提出token路由架构，可省算力
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Jarek Liesen等人提出MoDDiT，一种用于Diffusion Transformers的token路由架构：让每个token独立选择经过MLP还是自注意力路径，从而实现动态计算分配，最少只需处理12.5%的token。 据该研究称，从头训练图像生成模型时，这一改动可显著降低训练与推理成本；提高稀疏度和模型深度后，其表现优于未路由的基线。MoDDiT也可用于视频生成模型训练，并将稠密双向视频模型蒸馏为稀疏自回归学生模型。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 12:00
MoDDiT：Diffusion Transformers 中的简单 Token 路由报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv · cs.AIMoDDiT：Diffusion Transformers 中的简单 Token 路由
MoDDiT 通过让 token 独立经过 MLP 和自注意力两条路径进行路由，为 Diffusion Transformers 实现动态计算分配，最少仅需处理 12.5% 的 token。该架构修改从头训练图像生成模型时可显著降低训练与推理成本，并在提高稀疏度和模型深度后优于未路由基线。MoDDiT 还可用于视频生成模型训练，并将稠密双向视频模型蒸馏为稀疏自回归学生模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。