arXiv · cs.LG· Renxiang Huang, Yuchen Liang, Yingbin Liang, Ness Shroff, Lifeng Lai·· 2 小时前
零样本条件离散扩散中的分数失配与集合约束采样
Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion
AI 导读
针对零样本条件生成中训练与目标分布不一致导致的分数失配问题，研究者首次对分数失配的离散扩散模型给出理论分析，推导出KL散度上界，并揭示经典 Conditional SEDD 采样器的偏差随维度、词表规模和兼容性增长。为此提出面向坐标级集合约束的 Randomized Hard Clamping（RHC）采样器，可将分配概率用带吸收率的无条件分数精确表示，数值与真实数据实验验证了其有效性。
来源：arXiv · cs.LG · arxiv.org