Uni-Stream：统一流式语音语言模型，同时支持语音合成与识别

Uni-Stream 是一个基于紧凑预训练语音模型构建的统一流式语音语言模型，以流式方式处理交错的文本与语音，通过两阶段训练达到与任务专用模型相当的性能。研究团队还开发了面向流式训练的数据标注流水线，将公开生成的转写文本和词级时间戳。分析发现，即便在统一架构中训练，语音与文本仍处于不同的潜在特征空间，且各模态内部表示在较深层变得更依赖具体任务。