跳到正文
arXiv · cs.LG· Adrien Deschenaux, Nadezhda Ilieva, Justin Deschenaux, Manuel Madeira, Dorina Thanou, Aur\'elien Lucchi, Antonio Orvieto, Caglar Gulcehre, Pascal Frossard·· 11 小时前

LAW:纯自条件(Loopholing)驱动的连续生成语言模型

Loopholing All the Way: Language Modeling with pure Self-Conditioning

AI 导读

研究提出 LAW(Loopholing All the Way),一种完全基于自条件(Self-Conditioning)的连续生成模型,跨步传播去噪器预测下的期望嵌入向量,仅在最后一次性解码 token。

来源:arXiv · cs.LG · arxiv.org