arXiv · cs.LG· Jingda Wu, Changxiao Cai·· 14 小时前
Transformer 架构的掩码扩散模型可证明学习具有潜在结构的分布
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
AI 导读
研究证明基于 Transformer 的掩码扩散模型（MDM）能以受潜在结构约束的样本复杂度学习结构化分布，当数据分布可由隐马尔可夫树混合模型良好近似时，采用并行解掩码调度的 MDM 仅需 Õ(LK_par/ε) 个训练样本即可达到 KL 散度下的 ε 精度采样，其中 K_par 与序列长度 L、词表大小 V、隐藏状态数和混合分量数呈多项式关系。
来源：arXiv · cs.LG · arxiv.org