扩散模型去噪分数匹配中秩约束对泛化的影响研究

研究揭示扩散模型分数网络中秩约束对泛化的影响取决于样本量和数据维度：在三层网络与嵌入球面数据实验中，提高秩能降低训练误差，但测试误差变化不定。作者通过低维子空间高斯数据的随机特征模型推导出最优秩约束估计器，并给出训练与测试误差的渐近精确极限，识别出数据子空间正交补的维度作为自然秩阈值。