跳到正文
arXiv · cs.CL· Chuling Wen, Weijie Liang, Jian Lu, Zhouchen Lin·· 1 天前

掩码扩散模型的自适应并行采样串行深度:下界与调度策略

Serial Depth of Adaptive Parallel Sampling: Lower Bounds and Schedules for Masked Diffusion Models

AI 导读

研究提出“串行深度”指标,衡量掩码扩散模型在给定前向 KL 误差预算下所需的最少采样轮数,并为多类分布族构造了从 log log n 到线性于序列长度 n 的匹配调度。该下界对学习型预测器依然成立,并给出了保持误差保证的上下文精度条件。在两个预训练模型、五个文本领域上,理论建议的调度用 5 轮即超过随机选择 8 轮的平均对数似然,预注册确认研究在独立对话数据上验证了相对提升。

来源:arXiv · cs.CL · arxiv.org