Modaliff：统一token扩散模型实现任意模态生成

Duc Kieu 等作者提出 Modaliff，一个基于 token 的扩散模型，可从广泛存在的双模态数据对中学习，在文本、图像、音频之间实现任意模态生成，同时保留各模态的原生 latent 序列。 据作者在论文中介绍，该模型的关键设计是让不同模态各自保持原生 latent 序列，并以 token 扩散方式统一处理，从而支持任意两个模态之间的生成。这一效果来自作者自述，尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。