UniPRO 研究：跨模态检索中多模态融合顺序如何影响性能

研究者提出 UniPRO，用可配置融合顺序、匹配模型组件与训练设置的框架研究多模态视频检索中的融合顺序问题。实验发现逐模态引入优于堆叠融合，且顺序变化会改变性能；文本与音频检索在 R@1 上偏好最后引入与查询匹配的模态，训练和测试中受控缺失语音会反转偏好顺序。据此预测的图像查询视觉最后方案在 MSR-VTT-9k 上取得 97.9 R@1，为所评估顺序中最高。