跳到正文
arXiv · cs.LG· Walaa Othman, Baher Mohammad, Stamatios Lefkimmiatis, Ammar Ali·· 4 小时前

SEAM:面向低资源 TTS 的频谱嵌入对齐与合并方法

SEAM: Spectral Embedding Alignment and Merging for Low-Resource TTS

AI 导读

SEAM 是一种零音频初始化方法,通过已知子 token 为新 token 构建嵌入,用于扩展条件 TTS 模型的词表。它用频谱滤波保留时序音素顺序,并以闭式岭回归将新嵌入对齐到预训练条件流形。在三种语言和两种 TTS 架构上,SEAM 用最多少 4 倍的训练数据接近或匹配基线,相比随机初始化和均值池化将样本复杂度降低 75%。

来源:arXiv · cs.LG · arxiv.org