我们引入了高斯流（Gaussian-Flow），一种用于从多视图和单目视频中快速动态场景重建和实时渲染的新型基于点的方法。与以往基于 NeRF 的方法不同，这种方法利用了最新的基于点的 3D 高斯喷洒（3DGS）技术，通过引入新颖的双域变形模型（DDDM）来显式建模每个高斯点的属性变形，从而消除了为每个帧训练单独的 3DGS 或引入额外的隐式神经场来建模 3D 动态的需求。此外，对离散化高斯点进行显式变形建模确保了对 4D 场景的超快速训练和渲染，与用于静态 3D 重建的原始 3DGS 相当。我们的方法在效率上取得了显著的改进，训练速度比每帧 3DGS 建模快 5 倍，并且定量结果表明，我们提出的高斯流在新视图渲染质量上明显优于以往的主流方法。

Dec, 2023

通过将高斯动态投射到图像空间中，我们引入了一个新的概念，高斯流，它连接了 3D 高斯和相邻帧之间的像素速度，从而实现了光流的直接动态监督，显著提高了 4D 动态内容生成和 4D 新视图合成的视觉质量，并解决了 4D 生成过程中常见的颜色移动问题。

Mar, 2024

通过无监督学习框架，我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流，并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明，我们的方法在光流和视觉里程计任务上优于其他现有算法。

Sep, 2019

提出了一种高效的视频到 4D 对象生成框架 Efficient4D，能够在连续的摄像机轨迹下实时渲染高质量的时空一致图像，通过直接训练具有明确点云几何结构的新颖 4D 高斯涂层模型，大大提升了速度，同时保持创新视角合成质量。

Jan, 2024

提出了一种利用大规模扩散先验的可控单眼动态视图合成管道，通过给定任何场景的视频，根据一组相对相机姿态参数，从任意其他选定的视角生成同步视频。

May, 2024

通过无监督学习方法，提出了一种基于分解动态物体运动和相机运动的动态视图合成方法，包括非监督表面一致性和基于路径的多视图约束，可实现准确的 3D 运动建模，从而提高合成质量并相比现有方法精确地生成场景流和深度

Apr, 2023

本文介绍了一种重建 4D 时间连续场景模型的方法，该方法使用多个移动相机进行重建，可以重建动态或静态物体，同时将稀疏 - 稠密时序对应与联合多视角分割和重建结合使用，利用时间上的连续性克服了视觉歧义，并通过引入测地线星凸性的约束实现了具有鲁棒性的动态物体分割和重建。

Mar, 2016

本文提出了一种数据驱动的方法，利用自监督的神经网络来构建 4D 时空图像，可通过手持多摄像头拍摄的视频进行可视化，并在视频中创建虚拟摄像机以探索时间和视角，在移动摄像头和编辑视频等方面得到验证。

May, 2020

通过使用单个视图，我们提出了一个新的框架来解决动态场景的四维分解问题，并通过密集光线投射强调动态区域的学习，从而克服了单个视图和遮挡带来的挑战，并实现了比现有方法更高保真度的单视图动态场景表示。

Feb, 2024

DreamScene4D 是一种能够从野外单眼视频中生成多个物体的三维动态场景的方法，通过设计 “分解 - 重组” 方案，将视频场景及每个物体的三维运动进行分解，并使用开放词汇遮罩跟踪和适应性图像扩散模型对视频中的物体和背景进行分割、追踪和完整修复。

May, 2024