arXiv · cs.LG· Alan Baade, Kyle Sargent, Vincent Sitzmann, Eric Ryan Chan, Justin Johnson, Li Fei-Fei, Gordon Wetzstein·· 3 小时前
生成式表征学习实现可扩展潜在 tokenization，FLOPs 较 DINOv2 减少 7 倍
Generative Representation Learning for Scalable Latent Tokenization
AI 导读
研究者提出一种自监督表征学习方法，通过分解数据点互信息来监督表征损失，可用作生成式建模的 tokenizer。该方法避免了 DINO 和 LeJEPA 等常用方法出现的维度坍缩与特征抑制问题，且算力投入越多潜在 tokenization 效果越好。
来源：arXiv · cs.LG · arxiv.org