跳到正文
arXiv · cs.LG· Lorenzo Venturoli, Nedko Savov, Xi Wang, Marc Pollefeys, Luc Van Gool·· 3 小时前

StateCraft:用抽象状态推理增强视频世界模型

StateCraft: Augmenting Video World Models with Abstract-State Reasoning

AI 导读

StateCraft 将可持久更新的抽象状态与视觉状态解耦,用语言模型搭配视频扩散模型演化动态世界,在生成质量、记忆和可控性基准上超越现有最优基线。该架构在长轨迹中保持高自一致性和生成质量,且抽象状态可直接编辑,生成能跟随数据中从未观测过的状态编辑。概念验证的 3D 实验显示,该范式也可应用于空间环境。

来源:arXiv · cs.LG · arxiv.org