扩散模型自表征对齐 U-SRA 用于视频背景音乐生成

研究者提出扩散 U-Net 自表征对齐架构 U-SRA，通过在训练中将高噪声条件下早期层的较弱表征与低噪声条件下后期层的更优表征显式对齐，引导扩散模型学习更好的内部表征。该方法用于视频背景音乐生成，采用交叉注意力机制同步音乐与视频片段，在基准视频-音乐数据集上于视频-音乐对齐和整体音乐质量等关键指标上超越当前最优水平。