arXiv · cs.CL· Khang Nhat Hoang Vo, Belal Shoer, Abhirama Subramanyam Penamakuri·· 2 小时前
邻居的耳语：重新审视标题共识作为视觉语言检索的推理时证据
Whispers from the Neighbors: Rethinking Caption Consensus as Inference-Time Evidence for Vision-Language Retrieval
AI 导读
冻结编码器在推理时融合图像相似度与图像自身标题的相似度，在九个冻结编码器上将文本到图像 R@1 提升 3.4 至 16.8 点，前提是标题与查询来自同一标注者。若标题由现成描述模型生成，增益降至 1.9 至 7.2 点；来自不同标注源时最多提升 1 点。在组合性基准上，标题的作用是让候选匹配人类对图像的描述，而非改善图文对齐。
来源：arXiv · cs.CL · arxiv.org