arXiv · cs.AI· Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos·· 4 小时前
Real2SAM2Real:用生成式 3D 缓存为视频扩散模型提供互补上下文
Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion
AI 导读
Real2SAM2Real 通过生成式 3D 提升从单张参考图估计出拓扑完整的物体与人体网格(含未观测表面),将指定相机轨迹下的法线图作为互补上下文注入视频扩散模型,实现相机与多实例运动的解耦控制。该方法仅用约 2,000 段单目视频训练,无需显式 3D 资产或多轨迹配对录制,在实验中展现出优于所评估 SOTA 方法的时空一致性与控制精度。
来源:arXiv · cs.AI · arxiv.org