arXiv · cs.LG· Mehmet Onurcan Kaya, Desmond Elliott, Dim P. Papadopoulos·· 16 小时前
SIMIT：视觉语言模型在测试时通过想象实现自我提升
SIMIT: Self-Improving Vision-Language Models via Imagination at Test-Time
AI 导读
SIMIT 是一个测试时自我提升框架，让视觉语言模型在回答无标注测试查询前，自行合成针对该查询的训练数据。它通过先指定答案再生成对应图像来构造（问题、答案、图像）三元组，并结合多阶段验证、难度过滤与自适应预算分配。在 17 个基准上，SIMIT 优于现有自我提升方法，最佳配置相对 BAGEL-7B 取得 +7.20% 平均相对增益，无需训练的 SIMIT-ICL 也达到 +6.98%。
来源：arXiv · cs.LG · arxiv.org