扩散语言模型推理能耗约为自回归模型一半
热点事件持续更新
扩散语言模型推理能耗约为自回归模型一半
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文对扩散语言模型与自回归语言模型的推理能耗做了基准对比。作者 Boris Ruf 和 Marcin Detyniecki 测试了 LLaDA-8B、Dream-7B 与 Llama-3.1-8B、Qwen-2.5-7B，结果显示在 200–600 token 的长序列下，扩散模型达到 2.5–2.7 J/token，约为带 KV-cache 的自回归模型（5.3–5.7 J/token）的一半，即能效约高 2 倍。 研究同时指出，KV-cache 在长序列下为自回归模型带来 50–70% 的能耗降低。该结论基于上述四款模型的测试条件，尚未涉及其他规模或架构的模型。
AI 根据报道生成 · 46 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv · cs.LG离散扩散模型与自回归语言模型能耗对比分析：LLaDA-8B、Dream-7B 对 Llama-3.1-8B、Qwen-2.5-7B
一项能耗基准测试对比了扩散语言模型（LLaDA-8B、Dream-7B）与自回归模型（Llama-3.1-8B、Qwen-2.5-7B）的推理能耗。在 200–600 token 的长序列下，扩散模型达到 2.5–2.7 J/token，约为带 KV-cache 的自回归模型（5.3–5.7 J/token）的 2 倍能效。KV-cache 在长序列下为自回归模型带来 50–70% 的能耗降低。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。