LED：用前瞻编辑改进掩码扩散语言模型

研究者 Yuyan Zhou 等人提出 Lookahead Editing（LED）掩码扩散解码方法：在解码中加入可重写的提议状态，每步先做多次前瞻更新再提交 token，试图同时保留掩码扩散模型易优化的转移调度和迭代修订的表达力。 作者用 Qwen2.5-7B 和 Qwen3-8B 微调得到 LED-7B 与 LED-8B。据论文称，在八个基准上，LED 的监督微调（SFT）相较标准掩码扩散模型 SFT 平均分别提升 11.4 分和 7.7 分；仅用 SFT 的 LED-8B 优于经过继续预训练、监督微调和强化训练的 LLaDA2.1-16B Q-mode。上述比较均为作者报告的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。