使用 3D 高斯地图表示方法，并结合未放置相机图像和惯性测量数据，能够实现准确的同步定位与映射（SLAM），并解决了神经辐射场表示方法的局限性，实现了更快的渲染、尺度感知和轨迹跟踪。同时，作者提供了 UT-MM 多模态数据集，经实验评估表明 MM3DGS 相比现有 3DGS SLAM 技术可以实现 3 倍的跟踪改进和 5% 的光度渲染质量提升，并且能够实现高分辨率稠密 3D 地图的实时渲染。

Apr, 2024

本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

Nov, 2023

本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题，通过使用显式几何表示和输入视频流的连续性，实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。

Dec, 2023

使用单个移动单目或 RGB-D 相机，我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图（SLAM）方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示，通过几个创新实现连续重建高保真度的 3D 场景，包括通过直接优化对 3D 高斯器应用相机跟踪，利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性，以及引入一个全面的 SLAM 系统，实现在新视角合成和轨迹估计中的最新结果，甚至对微小和甚至透明的物体进行重建。

Dec, 2023

本文主要研究了 3D 高斯喷洒（3DGS）中的常见误差源，包括模糊、不完美的相机姿态以及颜色不一致性，旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布，我们可以统一处理相机姿态的精炼和运动模糊矫正，并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成，同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实，我们的贡献取得了最先进的结果，相对于相关基准线实现了一致的性能改进。

Apr, 2024

提出了一种名为 CompGS 的高效的三维场景表示方法，通过使用紧凑的高斯原始形式，实现了对三维场景建模过程中数据大小的显著降低。通过设计一种捕获彼此之间预测关系的混合原始结构，利用少量的锚原始形式进行预测，并将大多数原始形式封装成高度紧凑的残差形式。此外，还开发了一种受速率约束的优化方案，以在比特率消耗和表示效能之间实现 CompGS 的最佳权衡。实验证明，所提出的 CompGS 在三维场景表示中明显优于现有方法，在不损害模型准确性和渲染质量的情况下实现了卓越的紧凑性。我们的代码将在 GitHub 上发布供进一步研究使用。

Apr, 2024

通过联合优化相机姿态和场景表示，提出了首个基于 3DGS 的无 SfM 手术场景重建方法，利用光流先验引导从 3D 高斯获得的投影流，并引入一致性检查来过滤异常值，实验结果表明性能优越且高效。

Jul, 2024

用单个未对齐的单目 RGB-D 相机，通过使用 3D 高斯模型表示场景，我们首次展示了实现稠密的同时定位和映射 (SLAM)。我们的方法 SplaTAM 解决了基于辐射场的先前表示的限制，包括快速渲染和优化、确定区域是否已被映射和通过添加更多高斯模型进行结构化地图扩展。大量实验证明 SplaTAM 在相机定位、地图构建和新视图合成方面的性能达到了现有方法的 2 倍，并表现出优于现有方法的优越性，同时实现了高分辨率稠密 3D 地图的实时渲染。

Dec, 2023

提出了一种紧凑的 3D 高斯着色 SLAM 系统，通过减少冗余椭球体的数量和参数大小来降低内存和存储成本，并实现了快速训练和呈现速度。通过滑动窗口的屏蔽策略减少冗余的椭球体，然后观察到大多数 3D 高斯椭球体的协方差矩阵（几何）非常相似，从而激发出一种新的几何码本来压缩 3D 高斯几何属性。通过全局捆绑调整方法和重投影损失实现了稳健准确的姿态估计，实验结果表明我们的方法在保持最先进的场景表示质量的同时实现了更快的训练和呈现速度。

Mar, 2024

通过使用 3D 高斯平铺方法，结合 LiDAR 和相机数据，本研究提出了一种新颖的系统用于 3D 制图和视觉重定位，能够创造环境的准确且逼真的表示。通过利用 LiDAR 数据来初始化 3D 高斯平铺地图的训练，本系统构建了既详细又几何精确的地图。通过组合 2D 体素地图和 KD 树，以减少 GPU 内存使用和实现快速空间查询，从而使我们的方法适用于视觉定位任务，并能够通过归一化交叉相关 (NCC) 在高斯平铺地图和查询图像之间高效地识别对应关系。此外，通过基于特征匹配和透视点（PnP）技术来细化查询图像的相机姿势。通过对 KITTI360 数据集的广泛评估，证明了我们系统的有效性、适应性和精确性。

Mar, 2024