新研究联合生成任意骨架的3D运动与视频

研究者提出一个模型，可为任意给定骨架同时生成视频和3D运动，并输出把该运动对齐到场景的相机参数。该方法把3D运动放在独立模型中，通过少量cross-attention层连接预训练视频模型，从而支持任意骨架，而非仅限人体骨架；团队用生成式视频编辑器构建约200K训练对，评测显示其从文本驱动多样骨架动画比视频优先流程更忠实，并支持视频与骨架运动互转及关键帧控制。