arXiv · cs.LG· Juan Pablo Vigneaux, Jennifer Cole·· 1 天前
在 TTS 合成中引导语调旋律:CSM 与 S2 的机制分析与干预
Steering intonational tunes in text-to-speech synthesis
AI 导读
研究在基于残差向量量化的 TTS 模型 CSM 和 S2 中定位英语核心语调(nuclear tune)的承载组件,发现骨干网络的隐藏状态经 depth model 传递语调,而 token 栈第一层几乎不携带该信息。
来源:arXiv · cs.LG · arxiv.org