Uni-Stream：统一流式语音语言模型

Xuan Shi 等作者提出 Uni-Stream，一个基于紧凑预训练语音模型构建的统一流式语音语言模型。它以流式方式处理交错的文本与语音，经两阶段训练后，在语音合成与识别上达到与任务专用模型相当的性能。 研究团队还开发了面向流式训练的数据标注流水线，并称将公开生成的转写文本和词级时间戳。分析发现，即便在统一架构中训练，语音与文本仍处于不同的潜在特征空间，且各模态内部表示在较深层变得更依赖具体任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。