新方法用生成式表示学习做潜在分词

研究者提出一种自监督表示学习方法，通过分解数据点互信息来监督表示损失，可用作生成式建模的 tokenizer。该方法称避免了 DINO、LeJEPA 等常用方法出现的维度坍缩与特征抑制问题，且算力投入越多，潜在 tokenization 效果越好。 据该研究，其 FLOPs 较 DINOv2 减少 7 倍。相关结论来自作者自述，尚未见独立验证。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。