TL;DR提出了一种叫 gradSLAM 的方法,将传统的 SLAM 系统转化为可微分的计算图,并融合了表示学习和深度学习技术,让 SLAM 系统具备了梯度反向传播能力,从而更好地进行优化和学习任务。
Abstract
Blending representation learning approaches with simultaneous localization
and mapping (SLAM) systems is an open question, because of their highly modular
and complex nature. Functionally, SLAM is an operation that transforms raw
sensor inputs into a distribution over the state(s) of t
通过融合 2D 语义先验和多视角几何约束,DNS SLAM 方法提出了一种新型的神经 RGB-D 语义 SLAM 方法,可以在保持稳定相机跟踪的同时,训练类别级别的场景表示,实现颜色、密度和语义类别信息的输出,并在合成数据和实际数据跟踪中取得了最先进的性能,同时在现有硬件上保持了良好的实时跟踪速度,并输出了带有更好的纹理和几何细节的分解重建结果。
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。