LetsGo: 大规模车库建模与渲染的 LiDAR 辅助高斯基元
设计一种新的紧密耦合的 LiDAR-Camera 高斯扩散 (TCLC-GS) 方法,充分利用 LiDAR 和相机传感器的优势,实现快速高质量的 3D 重建和新视角 RGB / 深度合成,通过富含上下文信息的 3D 网格和隐式特征来丰富 3D 高斯扩散的属性和优化过程。
Apr, 2024
介绍了一种利用 Gaussian Splatting 和 Neural Radiance Fields 进行大规模景观重建的新型基准测试,结合 LiDAR 数据集,涵盖了超过 6.5 平方公里的城市和学术环境,评估了几种度量方法在 Gaussian Splatting 上的可靠性。
Apr, 2024
我们引入了一种新颖的大规模场景重建基准测试,通过使用新开发的三维表示方法 —— 高斯插值法在我们广泛的 U-Scene 数据集中。U-Scene 包含了一个半平方千米以上的区域,具有综合 RGB 数据集和 LiDAR 地面真实数据。我们使用了 Matrix 300 无人机配备高精度的 Zenmuse L1 LiDAR 来获取数据,从而实现了精确的屋顶数据采集。这个数据集提供了一个独特的城市和学术环境的结合,用于高级空间分析,覆盖面积超过了 1.5km^2。我们使用高斯插值法对 U-Scene 进行了评估,并从各种新颖的视角进行了详细分析。我们还将这些结果与我们准确的点云数据集进行对比,突出了多模态信息结合的重要性。
Jan, 2024
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
使用单个移动单目或 RGB-D 相机,我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图(SLAM)方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示,通过几个创新实现连续重建高保真度的 3D 场景,包括通过直接优化对 3D 高斯器应用相机跟踪,利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性,以及引入一个全面的 SLAM 系统,实现在新视角合成和轨迹估计中的最新结果,甚至对微小和甚至透明的物体进行重建。
Dec, 2023
CityGaussian employs a divide-and-conquer training approach and Level-of-Detail strategy for efficient large-scale 3D Gaussian Splatting training and rendering, achieving state-of-the-art rendering quality in real-time across various scales.
Apr, 2024
通过使用 3D 高斯平铺方法,结合 LiDAR 和相机数据,本研究提出了一种新颖的系统用于 3D 制图和视觉重定位,能够创造环境的准确且逼真的表示。通过利用 LiDAR 数据来初始化 3D 高斯平铺地图的训练,本系统构建了既详细又几何精确的地图。通过组合 2D 体素地图和 KD 树,以减少 GPU 内存使用和实现快速空间查询,从而使我们的方法适用于视觉定位任务,并能够通过归一化交叉相关 (NCC) 在高斯平铺地图和查询图像之间高效地识别对应关系。此外,通过基于特征匹配和透视点(PnP)技术来细化查询图像的相机姿势。通过对 KITTI360 数据集的广泛评估,证明了我们系统的有效性、适应性和精确性。
Mar, 2024
基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题,本文提出了一种利用三维高斯点云分布的新型管道,通过联合优化几何、外观、语义和动作,实现对城市场景的整体理解,并在实验证明了我们方法的有效性。
Mar, 2024
通过使用高斯喷洒技术,我们提出了 RTG-SLAM,一个用于大规模环境的实时 3D 重建系统。与现有的基于 NeRF 的 RGBD SLAM 相比,我们的系统在速度和内存成本方面取得了可比的高质量重建,并且在新视角合成的逼真度和相机跟踪准确性上表现出更好的性能。
Apr, 2024