跳到正文
arXiv · cs.LG· Gilad Turok, Yair Schiff, Chris De Sa, Volodymyr Kuleshov·· 16 小时前

DUEL:精确似然重塑掩码扩散模型缩放定律

DUEL: Exact Likelihood Reshapes Masked Diffusion Scaling Laws and Beyond

AI 导读

研究者提出 DUEL 框架,可在实际使用的采样器下精确计算掩码扩散模型(MDM)的似然,无需重新训练即可即插即用。改用 DUEL 替代 ELBO 后,MDM 与自回归模型的困惑度差距在域内缩小最多 32%、零样本缩小 82%,报告的 16x MDM-AR 算力差距降至 9x。用 DUEL 为 LLaDA-8B 的六项多选题打分,准确率最高提升 9.7 分。

来源:arXiv · cs.LG · arxiv.org