Jun, 2024

VDG：基于视觉的动态高斯驾驶仿真

PDF
TL;DR将自我监督视觉里程计（VO）集成到动态高斯方法（VDG）中，从而提升了定位和深度初始化以及静态 - 动态分解，VDG 可以只使用 RGB 图像输入，在更快的速度和更大的场景下构建动态场景，并在大量定量与定性实验中展示了对于现有动态视图合成方法的优越性能。
dynamic gaussian splattingscene reconstructionimage synthesisself-supervised vodynamic view synthesis
发现论文，激发创造
  • 周期振动高斯：动态城市场景重建与实时渲染

    建模动态的大规模城市场景是具有挑战性的，本文提出了一种统一的表示模型，Periodic Vibration Gaussian (PVG)，通过引入周期振动基于时间的动力学，以高效及统一的方式表示动态城市场景中各种物体和元素的特征，通过稀疏训练数据引入了一种新颖的基于流的时间平滑机制和位置感知的自适应控制策略，实验证明 PVG 在重建和新视角合成方面优于现有最先进的方法，且无需依赖手动标注的物体边界框或昂贵的光流估计，此外，PVG 在训练 / 渲染速度上比最佳替代方法加速了 50/6000 倍。

    Nov, 2023

  • MoDGS: 动态高斯分布从偶然捕获的单目视频

    在本文中，我们提出了 MoDGS，这是一个新的管道，可以利用仅有的随意捕捉的单目视频生成动态场景的新视角图像。MoDGS 采用了最近的单视图深度估计方法来指导动态场景的学习，并提出了一种新的三维感知初始化方法来学习合理的变形场和新的鲁棒深度损失来指导动态场景几何结构的学习。全面的实验证明，MoDGS 能够从仅有的随意捕捉的单目视频中生成高质量的动态场景新视角图像，优于基线方法的效果显著。

    Jun, 2024

  • 动态 3D 高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023

  • 动态 3D 高斯蒸馏

    学习使用单目视频作为输入来生成动态三维语义辐射场，其中学习到的语义辐射场捕捉每个点的语义以及颜色和几何属性，以便生成新的视图和相应的语义。通过联合优化外观和语义属性，使得该方法能够实现密集的语义三维物体跟踪，并展示了渲染快速而质量高的多样化场景结果。

    May, 2024

  • $ extit {S}^3$Gaussian：自主驾驶的自我监督街道高斯分布

    通过自我监督学习的方法，在不使用 3D 注释的情况下，我们提出了一种自适应街景高斯方法来分解静态和动态元素并取得最佳性能。

    May, 2024

  • GauFRe：用于实时动态新视角合成的高斯变形场

    使用可变形 3D 高斯方法进行动态场景重建，将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示，同时使用静态高斯点云允许多层感知器集中其表示能力，最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优化和渲染速度。

    Dec, 2023

  • 动态高斯网格：从单目视频实现一致的网格重建

    使用单个单目视频，通过引入动态高斯网格（DG-Mesh）框架，可以重建出高保真度和时态一致的网格结构，并实现动态对象的纹理编辑。

    Apr, 2024

  • 建模动态城市场景的街道高斯函数

    该论文介绍了一种用于建模动态城市街景的新的显式场景表示方法，其使用带有语义标签和 3D 高斯模型的点云来表示动态城市街景，从而实现了场景的编辑和生成，并且在多个数据集上表现优异。

    Jan, 2024

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • DrivingGaussian: 周围动态自动驾驶场景的复合高斯喷洒

    DrivingGaussian 是一个高效而有效的框架，用于重建自主驾驶场景中的动态环境，通过顺序和渐进地建模静态背景，并利用动态高斯图来处理多个移动物体，在场景中恢复每个物体的准确位置和遮挡关系。使用 LiDAR 和高斯喷洒方法进行重建，该方法在驾驶场景重建中优于现有的方法，实现了高逼真度和多相机一致性的全景合成。

    Dec, 2023