研究揭示扩散模型模运算泛化机制

Joon Hyeok Kim 等作者提交论文，对扩散模型在模运算任务上的算法泛化机制给出受控机制解释。研究以图像模加法任务中的 grokking 现象为测试平台。 在单图场景下，模型把操作数编码为周期表示，并在自注意力与前馈网络的接口处组合出三角加法恒等式。在多图、高类内差异场景下，迭代采样分为算术计算与视觉精修两个阶段，两阶段的转换由内部频率熵信号刻画。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。