GRAFT为连续扩散语言模型补回采样选择

Haoning Yang、Lili Pan 提出免训练方法 GRAFT，为冻结的连续扩散语言模型补回缺失的采样选择环节，以修复词汇长尾坍缩。 作者称，ELF 等连续扩散语言模型生成常见词的频率接近人类，但最稀有词仅为人均水平的 0.30x，且从 105M 到 652M 参数均未改善。GRAFT 不改动原模型参数，直接在其上补回采样选择。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。