跳到正文
arXiv · cs.CL· Yizhou Peng, Chen Chen, Donghang Wu, Hexin Liu, Eng Siong Chng·· 2 小时前

语音对话系统如何更早调用工具:新数据集与全模态模型实现边听边行动

Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems

AI 导读

研究者构建了带“最早可行动点”标注的合成语音对话数据集,含 48 个领域、26,694 段对话共 786 小时,并制作了 τ²-bench 的音频版本。基于该语料训练的全模态语言模型可在对话进行中做 chunk 级因果决策,工具状态 macro-F1 在留出集和外部基准上分别为 0.48 和 0.47。

来源:arXiv · cs.CL · arxiv.org