跳到正文
arXiv · cs.LG· Chenhe Yang, Yuhuan Lyu, Tianyang Hu·· 4 小时前

OrderGPT:把生成顺序变成可学习建模选择

OrderGPT: Generation Order as a Learnable Modeling Choice

AI 导读

OrderGPT 基于 Any-Order GPT,在无规范顺序监督下学习任务级生成顺序,通过聚合注意力信号构建依赖图并用 spectral teacher 导出连续生成优先级,由集成进 GPT 主干的轻量 OrderMLP 在单次训练中预测。该机制在语言上恢复接近 L2R 的依赖结构,在人体姿态上学到解剖学组织式分解,在表格数据上让统计与语义相关字段相邻,并在各领域提升下游建模指标。代码已公开。

来源:arXiv · cs.LG · arxiv.org