3DGS-Calib:多模态时空校准的 3D 高斯喷涂
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
通过使用 3D 高斯平铺方法,结合 LiDAR 和相机数据,本研究提出了一种新颖的系统用于 3D 制图和视觉重定位,能够创造环境的准确且逼真的表示。通过利用 LiDAR 数据来初始化 3D 高斯平铺地图的训练,本系统构建了既详细又几何精确的地图。通过组合 2D 体素地图和 KD 树,以减少 GPU 内存使用和实现快速空间查询,从而使我们的方法适用于视觉定位任务,并能够通过归一化交叉相关 (NCC) 在高斯平铺地图和查询图像之间高效地识别对应关系。此外,通过基于特征匹配和透视点(PnP)技术来细化查询图像的相机姿势。通过对 KITTI360 数据集的广泛评估,证明了我们系统的有效性、适应性和精确性。
Mar, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023
通过利用事件相机的高时间分辨率和显式的基于点的表示,Event3DGS 可以在快速自我运动下仅根据事件流重建高保真度的 3D 结构,并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性,同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中,通过有限的一组模糊的 RGB 图像来改善外观。大量实验证明,与现有方法相比,Event3DGS 具有卓越的渲染质量,并且训练时间减少了 95%以上,并且在渲染速度上具有数量级的提升。
Jun, 2024
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
使用单个移动单目或 RGB-D 相机,我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图(SLAM)方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示,通过几个创新实现连续重建高保真度的 3D 场景,包括通过直接优化对 3D 高斯器应用相机跟踪,利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性,以及引入一个全面的 SLAM 系统,实现在新视角合成和轨迹估计中的最新结果,甚至对微小和甚至透明的物体进行重建。
Dec, 2023
使用 3D 高斯地图表示方法,并结合未放置相机图像和惯性测量数据,能够实现准确的同步定位与映射(SLAM),并解决了神经辐射场表示方法的局限性,实现了更快的渲染、尺度感知和轨迹跟踪。同时,作者提供了 UT-MM 多模态数据集,经实验评估表明 MM3DGS 相比现有 3DGS SLAM 技术可以实现 3 倍的跟踪改进和 5% 的光度渲染质量提升,并且能够实现高分辨率稠密 3D 地图的实时渲染。
Apr, 2024
本文主要研究了 3D 高斯喷洒(3DGS)中的常见误差源,包括模糊、不完美的相机姿态以及颜色不一致性,旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布,我们可以统一处理相机姿态的精炼和运动模糊矫正,并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成,同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实,我们的贡献取得了最先进的结果,相对于相关基准线实现了一致的性能改进。
Apr, 2024