arXiv · cs.LG· Mohsen Fayyaz, Ali Modarressi, Daniel Israel, Lucas Bandarkar, Nanyun Peng·· 3 小时前
扩散语言模型在不同任务和语言上的速度差异
Diffusion Language Models Change Speed Across Tasks and Languages
AI 导读
对两个扩散语言模型在 10 项任务上的分析显示,每 token 所需前向次数高度依赖任务:DiffusionGemma 写故事生成一个 token 的前向次数是语法纠错的三倍以上,输出中相对输入的新内容比例和词汇稀有度可解释这一差距。
来源:arXiv · cs.LG · arxiv.org