跳到正文
arXiv · cs.LG· Justin Deschenaux, Caglar Gulcehre·· 2 小时前

S-FLM:用超球面流做语言建模

Language Modeling with Hyperspherical Flows

AI 导读

研究者提出 S-FLM,一种在超球面 S^{d-1} 上做连续流语言建模的隐空间方法,通过沿交叉熵学习的速度场旋转向量生成序列,避免物化 one-hot 向量的开销。该方法在大词表推理任务上明显优于已有连续流语言模型,并在标准温度采样(T=1)下缩小了与 masked diffusion 的差距,但在优化后的低温解码(T=0.1)下仍存在差距。

来源:arXiv · cs.LG · arxiv.org