arXiv · cs.LG· Boris Ruf, Marcin Detyniecki·· 3 小时前
离散扩散模型与自回归语言模型能耗对比分析：LLaDA-8B、Dream-7B 对 Llama-3.1-8B、Qwen-2.5-7B
Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models
AI 导读
一项能耗基准测试对比了扩散语言模型（LLaDA-8B、Dream-7B）与自回归模型（Llama-3.1-8B、Qwen-2.5-7B）的推理能耗。在 200–600 token 的长序列下，扩散模型达到 2.5–2.7 J/token，约为带 KV-cache 的自回归模型（5.3–5.7 J/token）的 2 倍能效。KV-cache 在长序列下为自回归模型带来 50–70% 的能耗降低。
来源：arXiv · cs.LG · arxiv.org