跳到正文
arXiv · cs.CL· Yuyan Zhou, Zeyuan Yang, Yuxuan Song, Zhicheng Cai, Hongli Yu, Weiying Ma, Hao Zhou, James Kwok·· 2 小时前

LED:用前瞻编辑改进掩码扩散语言模型

LED: Improving Masked Diffusion Language Models by Lookahead Editing

AI 导读

研究者提出 Lookahead Editing(LED),在掩码扩散解码中加入可重写的提议状态,每步先做多次前瞻更新再提交 token,兼顾 MDM 的易优化转移调度与迭代修订的表达力。

来源:arXiv · cs.CL · arxiv.org