arXiv · cs.CL· Durga Prasad Maram, Dhruvesh Patel, Tahira Naseem, Benjamin Rozonoyer, Gaurav Pandey, Ram\'on Fernandez Astudillo, Andrew McCallum·· 2 小时前
δMDM：带纠错机制的插入式序列生成
Birth, Death and Diff: Insertion-Based Sequence Generation with Corrections
AI 导读
δMDM 为插入式掩码扩散模型加入替换与删除操作，使中间生成结果可被修正。在 OpenWebText 无条件文本生成上，最高推理预算下其生成困惑度较 FlexMDM 减半；在 TinyGSM 条件生成上以一半的 NFEs 达到 FlexMDM 同等准确率。该机制让激进并行解码变得可行，同时提升生成速度与质量。
来源：arXiv · cs.CL · arxiv.org