arXiv · cs.AI· Chenxing Wei, Jiazhen Kang, Hong Wang, Jianqing Zhang, Hao Jiang, Xiaolong Xu, Ningyuan Sun, Ying He, F. Richard Yu, Yao Shu, Bo Jiang·· 6 小时前
LFPO:面向掩码扩散模型的高效 Token 级策略优化
Efficient Token-Level Policy Optimization for Masked Diffusion Models via Velocity Alignment
AI 导读
研究者提出 Sequence Likelihood-Free Policy Optimization(LFPO),将扩散大语言模型(dLLM)的策略对齐转化为离散速度对齐,绕过序列级似然估计,直接通过对比式 Token 级更新优化去噪 logits。在推理与代码基准上,LFPO 的准确率匹配或超过基于似然的基线,同时显著加速推理,并可用更少的去噪迭代完成高质量采样。
来源:arXiv · cs.AI · arxiv.org