跳到正文
热点事件持续更新

论文:8-9B模型普遍存在标签坍缩

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Ziye Guo与Ye Yuan发表论文,提出扩散语言模型上下文学习中的"标签坍缩"失败模式:模型生成与查询无关的标签。作者称,在8-9B规模下,Llama-3、Qwen3.5等自回归模型与LLaDA、iLLaDA、LLaDA-Instruct等离散扩散模型均存在该现象,即使采用类别均衡的交替排列也无法避免。论文同时给出分离度诊断指标。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv · cs.CL
    扩散语言模型上下文学习中的标签坍缩问题研究

    研究发现,在 8-9B 规模下,Llama-3、Qwen3.5 等自回归模型与 LLaDA、iLLaDA、LLaDA-Instruct 等离散扩散模型均存在"标签坍缩"——模型生成与查询无关的标签,即使采用类别均衡的交替排列也无法避免。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。