跳到正文
arXiv · cs.CL· Chanhyuk Lee, Wonjung Kim, Patrick Pynadath, Jaehoon Yoo, Satoshi Hayakawa, Ruqi Zhang, Jinwoo Kim, Seunghoon Hong·· 2 小时前

异步流映射语言模型 aFMLMs:将预测顺序引入一步并行生成

Asynchronous Flow Map Language Models

AI 导读

研究者提出异步流映射语言模型(aFMLMs),通过异步流的流映射学习,把 token 预测顺序编码进隐藏计算,实现单次前向传播生成全部 token。该框架支持预设与状态自适应两类时间调度,并给出新的流映射蒸馏方法。在数独求解与 GSM8K 数学应用题代码生成任务上,aFMLM 刷新了一步生成性能的 SOTA。

来源:arXiv · cs.CL · arxiv.org