arXiv · cs.AI· Pengcheng Huang, Tianming Liu, Zhenghao Liu, Yukun Yan, Shuo Wang, Tong Xiao, Zulong Chen, Maosong Sun·· 4 小时前
掩码扩散模型解码偏差的实证分析:Uncode 校准框架
Empirical Analysis of Decoding Biases in Masked Diffusion Models
AI 导读
研究揭示掩码扩散模型(MDM)中基于不确定性的解码策略会引入刚性边界偏差和琐碎 token 偏差,限制推理能力并降低生成质量。为此提出解码去偏校准框架 Uncode,通过引入两种互补先验约束全局解码轨迹。在三个先进 MDM 和七个推理与规划密集型基准上,Uncode 比现有解码策略高出 7% 以上,性能与同参数规模的自回归模型相当。
来源:arXiv · cs.AI · arxiv.org