论文:8-9B模型普遍存在标签坍缩
热点事件持续更新
论文:8-9B模型普遍存在标签坍缩
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Ziye Guo与Ye Yuan发表论文,提出扩散语言模型上下文学习中的"标签坍缩"失败模式:模型生成与查询无关的标签。作者称,在8-9B规模下,Llama-3、Qwen3.5等自回归模型与LLaDA、iLLaDA、LLaDA-Instruct等离散扩散模型均存在该现象,即使采用类别均衡的交替排列也无法避免。论文同时给出分离度诊断指标。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 12:00
扩散语言模型上下文学习中的标签坍缩问题研究报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- arXiv · cs.CL扩散语言模型上下文学习中的标签坍缩问题研究
研究发现,在 8-9B 规模下,Llama-3、Qwen3.5 等自回归模型与 LLaDA、iLLaDA、LLaDA-Instruct 等离散扩散模型均存在"标签坍缩"——模型生成与查询无关的标签,即使采用类别均衡的交替排列也无法避免。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。