结构高斯 SLAM 与曼哈顿世界假设
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
SGS-SLAM 是第一个基于三维高斯模型的语义密集视觉 SLAM 系统,它在实时渲染的同时提供精确的三维语义分割和高保真度的重建结果。
Feb, 2024
使用单个移动单目或 RGB-D 相机,我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图(SLAM)方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示,通过几个创新实现连续重建高保真度的 3D 场景,包括通过直接优化对 3D 高斯器应用相机跟踪,利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性,以及引入一个全面的 SLAM 系统,实现在新视角合成和轨迹估计中的最新结果,甚至对微小和甚至透明的物体进行重建。
Dec, 2023
本论文提出一种基于内隐神经表示的重建方法,将平面约束融合到多视角立体方法的深度图估计中,并在 2D 语义分割网络预测的墙和地面区域采用平面约束来规范几何形状。该方法在 ScanNet 数据集上的实验表明,与以前的方法相比,在 3D 重建质量方面表现出更好的性能。
May, 2022
本文介绍了 MG-SLAM,一种单目高斯 SLAM 系统,其特点是具有语义扩展的环路闭合模块,能够在进行漂移校正的同时实现高保真度的重建和对环境的高层次理解。该系统通过将全局地图表示为 3D 高斯,并将其用于指导场景几何估计,从而减轻缺失深度信息的工作量。此外,基于 CLIP 特征的语义扩展环路闭合模块可以持续进行全局优化,以纠正系统运行期间累积的漂移错误。我们的系统在多个具有挑战性的数据集上取得了令人期待的跟踪和建图结果,甚至超过了一些现有的 RGB-D 方法。
May, 2024
提出了一种紧凑的 3D 高斯着色 SLAM 系统,通过减少冗余椭球体的数量和参数大小来降低内存和存储成本,并实现了快速训练和呈现速度。通过滑动窗口的屏蔽策略减少冗余的椭球体,然后观察到大多数 3D 高斯椭球体的协方差矩阵(几何)非常相似,从而激发出一种新的几何码本来压缩 3D 高斯几何属性。通过全局捆绑调整方法和重投影损失实现了稳健准确的姿态估计,实验结果表明我们的方法在保持最先进的场景表示质量的同时实现了更快的训练和呈现速度。
Mar, 2024
在无界场景中进行定位和制图的 MM-Gaussian 多模态融合系统利用 LiDAR 和相机提供的几何结构信息解决了仅依靠视觉解决方案时遇到的深度不准确性问题,并利用 3D 高斯点云实现逼真的渲染效果。
Apr, 2024
提出 SemGauss-SLAM,第一个利用 3D 高斯表示的语义 SLAM 系统,实现实时精确的 3D 语义地图构建、鲁棒的相机跟踪和高质量渲染。该系统将语义特征嵌入 3D 高斯表示,有效地在环境的空间布局中编码语义信息以获得精确的语义场景表示;同时,提出特征级损失来更新 3D 高斯表示,为 3D 高斯优化提供更高层次的指导;此外,通过引入语义感知束调整,利用语义关联进行 3D 高斯表示和相机位姿的联合优化,从而减小累积漂移并提高重建精度。在 Replica 和 ScanNet 数据集上,与现有的密集语义 SLAM 方法相比,我们的 SemGauss-SLAM 方法在地图构建和相机跟踪的准确性方面表现出更好的性能,并展示出新视角语义合成和 3D 语义映射的优秀能力。
Mar, 2024
使用全局优化的 3D 高斯地图表示,结合单目深度估计、动态自适应关键帧姿态和深度更新,我们提出了首个只使用 RGB 的 SLAM 系统,实现了优化的跟踪、建图和渲染精度,并获得小型地图与快速运行时。
May, 2024
通过使用高斯喷洒技术,我们提出了 RTG-SLAM,一个用于大规模环境的实时 3D 重建系统。与现有的基于 NeRF 的 RGBD SLAM 相比,我们的系统在速度和内存成本方面取得了可比的高质量重建,并且在新视角合成的逼真度和相机跟踪准确性上表现出更好的性能。
Apr, 2024