arXiv · cs.AI· Weijian Luo, Yujian Chen, Hao Jiang, Guang Cheng, Tianyang Hu·· 4 小时前
LangDiT：为连续扩散语言模型设计的 Transformer 架构
Designing Transformers for Continuous Diffusion Language Models
AI 导读
研究提出 Language Diffusion Transformer（LangDiT），通过特征与 query-key 归一化、更宽的噪声条件、似然捷径梯度路由与校准、置信度门控训练自条件等设计，为连续扩散语言模型（CDLM）优化 Transformer 架构。
来源：arXiv · cs.AI · arxiv.org