Mix-FT微调让少步掩码扩散语言模型更优
热点事件持续更新
Mix-FT微调让少步掩码扩散语言模型更优
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
研究者提出混合似然微调（Mix-FT）：在无需教师模型、不改架构与采样器的前提下，按预训练模型自身采样器似然的重要性加权界进行微调。 在 LLaDA-8B 上，仅用预训练算力 0.002% 的 LoRA 微调后，每块 16 步（模型评估量减半）的续写效果在每个随机种子下均优于原模型；两位来自不同模型家族的盲评 LLM 评审分别在 69% 和 71% 的样本对中更偏好其输出。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
Mix-FT：通过混合似然微调让少步掩码扩散语言模型更优报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.LGMix-FT：通过混合似然微调让少步掩码扩散语言模型更优
研究者提出混合似然微调（Mix-FT），在无需教师模型、不改架构与采样器的前提下，对预训练模型按其自身采样器似然的重要性加权界进行微调。在 LLaDA-8B 上，仅用预训练算力 0.002% 的 LoRA 微调，每块 16 步（模型评估量减半）的续写效果在每个随机种子下均优于原模型，两位不同模型家族的盲评 LLM 评审在 69% 和 71% 的样本对中更偏好其输出。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。