推理时融合图像标题可提升视觉语言检索

Khang Nhat Hoang Vo 等作者提交的论文提出，在推理阶段将图像相似度与图像自身标题的相似度融合，可在不重新训练编码器的情况下提升文本到图像检索。在九个冻结编码器上，文本到图像 R@1 提升 3.4 至 16.8 点，但前提是标题与查询来自同一标注者。 增益高度依赖标题来源：若标题由现成描述模型生成，提升降至 1.9 至 7.2 点；若来自不同标注源，最多提升 1 点。作者还称，在固定支持索引下，剩余增益只是对标题已有信息的重新加权；在组合性基准上，标题的作用是让候选匹配人类对图像的描述，而非改善图文对齐。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。