新模型为任意骨架联合生成3D运动与视频

研究者提出一个模型，可为任意给定骨架同时生成视频和3D运动，并输出把该运动对齐到场景的相机参数。该方法把3D运动放在独立模型中，通过少量cross-attention层连接预训练视频模型，从而支持任意骨架，而非仅限人体骨架。 团队用生成式视频编辑器构建约200K训练对。评测显示，其从文本驱动多样骨架动画比视频优先流程更忠实，并支持视频与骨架运动互转及关键帧控制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。