跳到正文
热点事件持续更新

研究者提出超球面潜空间流语言模型S-FLM

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Justin Deschenaux 与 Caglar Gulcehre 提出 S-FLM,一种在超球面 S^{d-1} 上做连续流语言建模的隐空间方法:它沿交叉熵学习的速度场旋转向量来生成序列,从而避免物化 one-hot 向量的开销。 据论文报告,该方法在大词表推理任务上明显优于已有连续流语言模型,并在标准温度采样(T=1)下缩小了与 masked diffusion 的差距;但在优化后的低温解码(T=0.1)下,两者仍有差距。

AI 根据报道生成 · 1 小时前更新

最新进展10月22日 12:00
S-FLM:用超球面流做语言建模

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. arXiv · cs.LG
    S-FLM:用超球面流做语言建模

    研究者提出 S-FLM,一种在超球面 S^{d-1} 上做连续流语言建模的隐空间方法,通过沿交叉熵学习的速度场旋转向量生成序列,避免物化 one-hot 向量的开销。该方法在大词表推理任务上明显优于已有连续流语言模型,并在标准温度采样(T=1)下缩小了与 masked diffusion 的差距,但在优化后的低温解码(T=0.1)下仍存在差距。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。