Dec, 2023

SplaTAM：基于 3D 高斯函数的 RGB-D 稠密 SLAM

PDF
TL;DR用单个未对齐的单目 RGB-D 相机，通过使用 3D 高斯模型表示场景，我们首次展示了实现稠密的同时定位和映射 (SLAM)。我们的方法 SplaTAM 解决了基于辐射场的先前表示的限制，包括快速渲染和优化、确定区域是否已被映射和通过添加更多高斯模型进行结构化地图扩展。大量实验证明 SplaTAM 在相机定位、地图构建和新视图合成方面的性能达到了现有方法的 2 倍，并表现出优于现有方法的优越性，同时实现了高分辨率稠密 3D 地图的实时渲染。
dense simultaneous localization and mapping (slam)3d gaussianssplatammonocular rgb-d camerareal-time rendering
发现论文，激发创造
  • Splat-SLAM: 全局优化的仅 RGB 的 SLAM 与 3D 高斯

    使用全局优化的 3D 高斯地图表示，结合单目深度估计、动态自适应关键帧姿态和深度更新，我们提出了首个只使用 RGB 的 SLAM 系统，实现了优化的跟踪、建图和渲染精度，并获得小型地图与快速运行时。

    May, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • 高斯喷洒式定位与建图

    使用单个移动单目或 RGB-D 相机，我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图（SLAM）方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示，通过几个创新实现连续重建高保真度的 3D 场景，包括通过直接优化对 3D 高斯器应用相机跟踪，利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性，以及引入一个全面的 SLAM 系统，实现在新视角合成和轨迹估计中的最新结果，甚至对微小和甚至透明的物体进行重建。

    Dec, 2023

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • 高保真使用高斯点渤与渲染引导的密度增强和规则优化的 SLAM

    提出了一种基于 3D 高斯喷洒的密集 RGBD SLAM 系统，该系统具有度量准确的位姿跟踪和视觉逼真的重建。

    Mar, 2024

  • MGS-SLAM: 单目稀疏跟踪与高斯建图并带深度平滑正则化

    基于高斯喷洒的稠密视觉同时定位与建图（VSLAM）引入了一种新的框架，通过独特地将先进的稀疏视觉里程计与稠密高斯喷洒场景表示相结合，从而消除了依赖于深度图的限制并增强了跟踪的稳健性。我们的系统在各种合成和真实数据集上的评估证明了其姿态估计的准确性超越了现有方法，达到了最先进的性能，并且在新颖视角合成保真度方面胜过以前的单目方法，与利用 RGB-D 输入的神经 SLAM 系统的结果相匹配。

    May, 2024

  • RTG-SLAM：使用高斯喷洒实现大规模实时 3D 重建

    通过使用高斯喷洒技术，我们提出了 RTG-SLAM，一个用于大规模环境的实时 3D 重建系统。与现有的基于 NeRF 的 RGBD SLAM 相比，我们的系统在速度和内存成本方面取得了可比的高质量重建，并且在新视角合成的逼真度和相机跟踪准确性上表现出更好的性能。

    Apr, 2024

  • SGS-SLAM：面向神经稠密 SLAM 的语义高斯投影

    SGS-SLAM 是第一个基于三维高斯模型的语义密集视觉 SLAM 系统，它在实时渲染的同时提供精确的三维语义分割和高保真度的重建结果。

    Feb, 2024

  • SemGauss-SLAM：密集语义高斯分层 SLAM

    提出 SemGauss-SLAM，第一个利用 3D 高斯表示的语义 SLAM 系统，实现实时精确的 3D 语义地图构建、鲁棒的相机跟踪和高质量渲染。该系统将语义特征嵌入 3D 高斯表示，有效地在环境的空间布局中编码语义信息以获得精确的语义场景表示；同时，提出特征级损失来更新 3D 高斯表示，为 3D 高斯优化提供更高层次的指导；此外，通过引入语义感知束调整，利用语义关联进行 3D 高斯表示和相机位姿的联合优化，从而减小累积漂移并提高重建精度。在 Replica 和 ScanNet 数据集上，与现有的密集语义 SLAM 方法相比，我们的 SemGauss-SLAM 方法在地图构建和相机跟踪的准确性方面表现出更好的性能，并展示出新视角语义合成和 3D 语义映射的优秀能力。

    Mar, 2024

  • 紧凑型三维高斯喷射在密集视觉定位和建图中的应用

    提出了一种紧凑的 3D 高斯着色 SLAM 系统，通过减少冗余椭球体的数量和参数大小来降低内存和存储成本，并实现了快速训练和呈现速度。通过滑动窗口的屏蔽策略减少冗余的椭球体，然后观察到大多数 3D 高斯椭球体的协方差矩阵（几何）非常相似，从而激发出一种新的几何码本来压缩 3D 高斯几何属性。通过全局捆绑调整方法和重投影损失实现了稳健准确的姿态估计，实验结果表明我们的方法在保持最先进的场景表示质量的同时实现了更快的训练和呈现速度。

    Mar, 2024