跳到正文
arXiv · cs.AI· Jaeyong Ko, Hankyeol Kim, Pilsung Kang·· 1 天前

Oddin:通过图像生成自蒸馏实现统一多模态模型的潜在视觉推理

Oddin: Latent Visual Reasoning in Unified Multimodal Models via Self-Distillation from Image Generation

AI 导读

Oddin 提出一种在统一大语言多模态模型(ULMMs)中实现潜在视觉推理的框架,用紧凑的 latent token 替代中间图像、全部交由理解分支处理,生成分支只负责输出最终图像。模型通过离线自蒸馏训练,结合最终图像生成损失、文本蒸馏损失和特殊 token 的交叉熵损失三个目标。在七个 VBVR-Pro 视觉推理任务上,Oddin 平均表现超过交错生成基线和闭源 VLM。

来源:arXiv · cs.AI · arxiv.org