arXiv · cs.LG· Joon Hyeok Kim, Yong-Hyun Park, Mattis Dals{\ae}tra {\O}stby, Jiatao Gu·· 2 小时前
扩散模型在模运算上的算法泛化机制研究
A Mechanistic Study of Algorithmic Generalization in Diffusion Models on Modular Arithmetic
AI 导读
一项受控机制研究以图像模加法任务中的 grokking 现象为测试平台,剖析扩散模型的算法学习过程。单图场景下模型将操作数编码为周期表示,并在自注意力与前馈网络接口处组合出三角加法恒等式;多图高类内差异场景下,迭代采样过程分为算术计算与视觉精修两个阶段,其转换由内部频率熵信号精确刻画。
来源:arXiv · cs.LG · arxiv.org