如何改变 SLAM: 一项调查对 NeRFs 和三维高斯喷洒的影响
通过深度视觉特征、双关键帧选择和 3D 高斯喷洒,本文提出了一种基于三维高斯喷洒的 SLAM 方法。该方法通过特征提取和运动滤波在每一帧上实现了选择性跟踪,通过整个映射过程进行姿态和三维高斯的联合优化。此外,通过双关键特征选择和新颖的损失函数实现了粗糙到精细的姿态估计和紧凑的高斯场景表示。实验结果表明,该算法不仅在跟踪和建图方面优于现有方法,而且内存使用更少。
May, 2024
基于新颖的具备高一致性和几何稳定性的不确定性感知的 3D 高斯场,这篇论文提出了一种有效的 RGB-D SLAM 系统,CG-SLAM,在跟踪和地图制作方面实现了卓越的性能。
Mar, 2024
3D 高斯散射(3D-GS)是计算机图形学领域的重要进展,提供了明确的场景表示和新颖的视图合成技术,而无需依赖神经网络(如神经辐射场(NeRF))。本文对 3D 高斯散射的相关论文进行了全面调研,将调查结果按照特征和应用进行分类,介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射,提供领域中的重要参考文献,并启发未来的研究方向,如本文的结论部分所讨论的。
Feb, 2024
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
通过使用神经辐射场 (NeRF) 和密集 RGB-D SLAM 系统,我们提出了 NeSLAM 框架,能够进行准确的深度估计、鲁棒的相机跟踪和逼真的新视图合成,从而解决了由消费级 RGB-D 传感器获取的稀疏且嘈杂的深度图带来的重建和几何场景表达不准确的挑战,并在各种室内数据集上验证了系统在重建、跟踪和新视图合成方面的有效性和准确性。
Mar, 2024
我们提出了 SLAIM - 同时定位和隐式建图。我们在神经光度场 SLAM(NeRF-SLAM)中提出了一种新颖的粗到细的跟踪模型,以实现最先进的跟踪性能。通过在 NeRF 之上实施高斯金字塔滤波器来解决 NeRF 系统在有限的输入视图情况下收敛到正确几何形状的挑战。我们的方法实现了局部和全局束调整,以产生强大(粗到细)和准确(KL 正则化器)的 SLAM 解决方案。在多个数据集(ScanNet,TUM,Replica)上进行实验证明在跟踪和重建准确性方面达到了最先进的结果。
Apr, 2024
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024