自动地将真实场景视频转换成逼真并且可交互的游戏环境的新方法 Video2Game，使用神经辐射场模块捕捉场景的几何与视觉外观，使用网格模块加速渲染，以及使用物理模块模拟对象之间的相互作用和物理动力学。

Apr, 2024

本文提出了一种可编辑的逼真的自由视角视频生成方法，通过使用只有 16 个稀疏摄像头，将大规模动态场景中的每个动态实体表示为连续函数，并采用新的分层神经表示方法进行支持感知和逼真操作，并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分离时间运动，同时采用面向对象的体积渲染方案进行了再组装所有神经层，并采用新颖的分层损失和运动感知射线采样策略，实现了大规模动态场景的高效训练，并支持各种编辑功能，显示了该方法生成高质量的可编辑的自由视角视频。

Apr, 2021

该论文讲述了一种利用无监督学习，通过编码器 - 解码器架构、动作标签以及重构损失的方法，生成可控制的视频的框架，其在多个数据集上得到了验证。

Jan, 2021

提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

Mar, 2021

本文提供了一个新的环境，用于学习交互式推理的视觉和行为方面的模拟，以掌握家庭用品的操作技能，并利用 SAMPLE-HD 环境生成场景、语言指令和训练路径。

Jun, 2022

Genie 是第一个通过无监督方式从无标签互联网视频中训练得到的生成交互式环境，它可以根据文本、合成图像、照片甚至草图生成无限多种可控行为的虚拟世界。拥有 11B 个参数的 Genie 可以被视为基础世界模型，它由时空视频分词器、自回归动力学模型以及简单可扩展的潜在动作模型组成。尽管训练时没有使用任何真实行为标签或其他领域特定的要求，Genie 可以使用户基于逐帧操作生成的环境。此外，由此产生的学习潜在动作空间可用于训练代理机器人模仿未见过的视频行为，为未来培训通才型代理机器人打开了道路。

Feb, 2024

基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

Dec, 2023

该论文提出了一种基于单目标注视频训练神经模型的框架，创造了一个可学习的游戏引擎，通过对游戏中的场景、物体和角色的建模，实现了高质量环境的渲染，并且利用语料库的大量文本训练的游戏 AI，使得玩家可以通过设定高低级别的动作顺序，进行高级控制和指挥，实现了在游戏之外的导演模式，其性能显著优于现有的神经视频游戏模拟器。

Mar, 2023

一种名为 Place-Anything 的新颖且高效的系统，通过仅基于目标物体或元素的图片或文本描述实现将任何物体插入任何视频，提供了一种有效的解决方案来生成和编辑高质量的视频。

Feb, 2024

Replay 数据集是一组多视角、多模态的人类社交互动视频，可用于新视角合成、3D 重建、新视角声学合成、人体和面部分析以及生成模型训练，并提供了一个新视角合成的基准测试。

Jul, 2023