arXiv · cs.CL· Haoning Yang, Lili Pan·· 2 小时前
GRAFT：为连续扩散语言模型补回缺失的采样接口
GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
AI 导读
GRAFT 是一种免训练方法，可为冻结的连续扩散语言模型补回缺失的采样选择环节，修复其词汇长尾坍缩问题。ELF 等模型生成常见词的频率接近人类，但最稀有词仅为人均水平的 0.30x，且从 105M 到 652M 参数均未改善。
来源：arXiv · cs.CL · arxiv.org