arXiv · cs.CL· Xin Cheng, Yuyue Wang, Xihua Wang, Yihan Wu, Kaisi Guan, Yijing Chen, Peng Zhang, Xiaojiang Liu, Meng Cao, Ruihua Song·· 17 小时前
ViSSFlow：通过联合学习统一视频条件声音与语音生成
ViSSFlow: Unifying Video-Conditioned Sound and Speech Generation via Joint Learning
AI 导读
ViSSFlow 是一个统一的流匹配框架，将视频到声音（V2S）与视觉文本转语音（VisualTTS）两类任务合并到单一模型中。它通过解耦条件聚合机制，用 cross-attention 建模语义条件、self-attention 捕捉时间密集的视觉线索，并证明联合优化不会造成任务干扰。在 V2S、VisualTTS 及联合生成基准上，ViSSFlow 均优于任务专用的 SOTA 基线。
来源：arXiv · cs.CL · arxiv.org