Nov, 2023

MD-Splatting：在高度可变形的场景中从 4D 高斯函数中学习度量变形

PDF
TL;DR准确的 3D 跟踪可以在机器人技术、增强现实和生成式人工智能方面推动新的应用。本研究引入了 MD-Splatting，一种用于在高度可变形场景中进行同时 3D 跟踪和新视角合成的方法。它通过学习一种变形函数来实现高质量的 3D 跟踪，并通过使用高斯重合法进行快速新视角合成。
3d trackingdeformable scenesocclusionsshadowsmd-splatting
发现论文，激发创造
  • 三维几何感知的可变形高斯光斑在动态视图合成中的应用

    本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

    Apr, 2024

  • MGS-SLAM: 单目稀疏跟踪与高斯建图并带深度平滑正则化

    基于高斯喷洒的稠密视觉同时定位与建图（VSLAM）引入了一种新的框架，通过独特地将先进的稀疏视觉里程计与稠密高斯喷洒场景表示相结合，从而消除了依赖于深度图的限制并增强了跟踪的稳健性。我们的系统在各种合成和真实数据集上的评估证明了其姿态估计的准确性超越了现有方法，达到了最先进的性能，并且在新颖视角合成保真度方面胜过以前的单目方法，与利用 RGB-D 输入的神经 SLAM 系统的结果相匹配。

    May, 2024

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • 基于高斯嵌入的形变方法用于可变形的三维高斯点云绘制

    3D 高斯点精细喷洒（3DGS）将用于快速高质量的新视角合成，可自然延伸至多帧变形。通过将变形定义为基于每个高斯点嵌入和时间嵌入的函数，并将变形分解为粗变形和细变形以模拟缓慢和快速运动，作者解决了通过协调基于坐标的框架的错误设计所导致的准确重建动态场景的问题，并提出了一种高效训练策略以实现更快收敛和更高质量。

    Apr, 2024

  • DN-Splatter: 高斯点片剖分和网格剖分的深度和法线先验

    通过深度和法线线索来拓展 3D 高斯喷洒技术，以解决室内数据集中的挑战，并展示了有效的网格提取技术。

    Mar, 2024

  • 高斯喷洒式定位与建图

    使用单个移动单目或 RGB-D 相机，我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图（SLAM）方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示，通过几个创新实现连续重建高保真度的 3D 场景，包括通过直接优化对 3D 高斯器应用相机跟踪，利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性，以及引入一个全面的 SLAM 系统，实现在新视角合成和轨迹估计中的最新结果，甚至对微小和甚至透明的物体进行重建。

    Dec, 2023

  • MVSplat: 从稀疏多视角图像中高效的三维高斯粒子渲染

    我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中，我们的模型以最快的前馈推断速度（22 帧 / 秒）实现了最先进的性能。与最新的最先进方法 pixelSplat 相比，我们的模型使用的参数数量少了 10 倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。

    Mar, 2024

  • MoDGS: 动态高斯分布从偶然捕获的单目视频

    在本文中，我们提出了 MoDGS，这是一个新的管道，可以利用仅有的随意捕捉的单目视频生成动态场景的新视角图像。MoDGS 采用了最近的单视图深度估计方法来指导动态场景的学习，并提出了一种新的三维感知初始化方法来学习合理的变形场和新的鲁棒深度损失来指导动态场景几何结构的学习。全面的实验证明，MoDGS 能够从仅有的随意捕捉的单目视频中生成高质量的动态场景新视角图像，优于基线方法的效果显著。

    Jun, 2024

  • 基于网格的高斯映射在实时大规模变形中的应用

    通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

    Feb, 2024

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024