arXiv · cs.CL· Wenbing Yang, Qihang Lu, Zihan Sun, Peilei Jia, Yingming Gao, Ya Li, Jun Gao·· 4 小时前
VoTSpeech：将音色设计从语音生成中解耦的指令跟随 TTS
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
AI 导读
VoTSpeech 通过显式中间音色 latent 将音色设计与语音生成解耦，基于共享语言模型骨干，先用 flow-based 模块从文本指令预测连续音色 latent，再同时作为语言模型与 Acoustic DiT 的共享条件，最终由音频 VAE 解码器生成波形。
来源：arXiv · cs.CL · arxiv.org