arXiv · cs.CL· Yang Wang, Yanan Ma, Zi Yan Chang, Tyler Loakman, Chi-Li Chen, Chia-Yi Hsiao, Yeqi Jin, Yiqi Liu, Aline Villavicencio, Chenghao Xiao, Chenghua Lin·· 4 小时前
DrivelHub+：评估视频语言模型多模态语用推理的新基准
Reading Between the Frames of Multimodal Drivelology
AI 导读
研究者推出 DrivelHub+ 基准，用于评估视频语言模型能否推断社交媒体视频中隐含的、非线性的修辞含义。该基准包含 1,000 个社交媒体视频，每个视频均配有真人撰写的隐含叙事解释，并从解释与表征两个角度评测现有模型，其中表征评测采用 reasoning-as-retrieval 检验视频与隐含叙事的双向检索对齐。
来源：arXiv · cs.CL · arxiv.org