UniPRO研究多模态融合顺序对检索的影响

Haoxiang Zhao等作者提出 UniPRO 框架，在匹配模型组件与训练设置的前提下，用可配置的融合顺序研究多模态视频检索中的融合顺序问题。实验发现，逐模态引入优于堆叠融合，且改变顺序会改变检索性能。 在文本与音频检索中，R@1 指标偏好把与查询匹配的模态最后引入；训练和测试中受控缺失语音会反转这一偏好顺序。作者据此预测的图像查询“视觉最后”方案在 MSR-VTT-9k 上取得 97.9 R@1，为所评估顺序中最高。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。