arXiv · cs.CL· Ziye Guo, Ye Yuan·2026-10-14 12:00· 4 小时前

扩散语言模型上下文学习中的标签坍缩问题研究

Label Collapse in Diffusion Language Model In-Context Learning

AI 导读

研究发现，在 8-9B 规模下，Llama-3、Qwen3.5 等自回归模型与 LLaDA、iLLaDA、LLaDA-Instruct 等离散扩散模型均存在"标签坍缩"——模型生成与查询无关的标签，即使采用类别均衡的交替排列也无法避免。

来源：arXiv · cs.CL · arxiv.org