arXiv · cs.LG· Shashank Sule, Xinyue Yu, Boonam Shin, Yuxuan Liu, Abolfazl Hashemi, Hayden Schaeffer·· 3 小时前
扩散模型记忆化新指标：输入损失曲率可作为无采样代理
Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models
AI 导读
研究者提出用输入损失曲率（扩散模型训练损失 Hessian 的 Frobenius 范数）量化扩散模型的记忆化现象。训练与验证样本的平均曲率可识别模型何时开始复述训练数据，但不足以衡量单个样本被记忆的概率。为此作者引入扩散模型的反事实记忆化定义，并证明其受留一模型输入曲率控制，建立了样本局部损失景观与生成概率的理论联系。
来源：arXiv · cs.LG · arxiv.org