跳到正文
arXiv · cs.LG· Achref Jaziri, Martin Mundt, Ahmed Imtiaz Humayun, Visvanthan Ramesh·· 16 小时前

扩散模型记忆盆地的谱特征:从几何视角检测与抑制训练数据记忆

Spectral Signatures of Memorization Basins in Diffusion Trajectories

AI 导读

研究对条件、无条件及 rectified-flow 扩散模型的记忆盆地给出几何刻画,发现盆地进入时函数几何的局部谱会出现主导奇异模态浮现、随后谱急剧恢复的特征信号,该信号同时出现在推理去噪轨迹和训练过程中。基于此,作者在训练时作用于主导模态抑制记忆,在推理时识别进入记忆盆地的轨迹并将其引导离开,低维几何近似下仍有效,并已扩展至大规模文生图扩散模型。

来源:arXiv · cs.LG · arxiv.org