OrderGPT：让模型自行学习生成顺序

Chenhe Yang 等人提出 OrderGPT，在 Any-Order GPT 基础上，不依赖规范顺序监督，学习任务级的生成顺序。其做法是聚合注意力信号构建依赖图，用 spectral teacher 导出连续生成优先级，再由集成进 GPT 主干的轻量 OrderMLP 在单次训练中预测。 据论文称，该方法在语言上恢复接近从左到右的依赖结构，在人体姿态上学到解剖学式的分解，在表格数据上让统计与语义相关的字段相邻，并在各领域提升下游建模指标。代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。