Transformer掩码扩散模型获统计保证

Jingda Wu 与 Changxiao Cai 发表论文，为基于 Transformer 的掩码扩散模型（MDM）给出端到端统计保证：当数据分布可由隐马尔可夫树混合模型良好近似时，采用并行解掩码调度的 MDM 仅需 Õ(LK_par/ε) 个训练样本，即可在 KL 散度下达到 ε 精度采样。 作者称，该样本复杂度由潜在结构决定，其中 K_par 与序列长度 L、词表大小 V、隐藏状态数和混合分量数呈多项式关系。这为 Transformer 架构的 MDM 学习结构化分布提供了可证明的样本复杂度上界。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。