使用潜在先验网络和准平面分割的实时语义映射
使用卷积神经网络和密集同时定位和建图(SLAM)系统来将视觉感知转化为语义映射,实现在室内 RGB-D 视频帧之间的长期稠密对应以及在多个视点上的概率融合,从而生产有用的 3D 语义地图。
Sep, 2016
本文提出了一种基于三维激光雷达测距扫描和神经网络对语义信息进行提取的建图及定位方法,实现了对运动物体的有效滤波和语义信息约束下的扫描匹配,与现有基于几何约束的方法相比,实验结果表明其性能更优。
May, 2021
该研究提出了一种基于深度学习的统一框架,通过将相机视频、运动传感器(GPS/IMU)和三维语义地图进行传感器融合,以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术,使用相机姿态和三维语义地图生成标注地图,并在深度神经网络中进行联合训练,以提高姿态估计精度。该研究表明,相较于单一传感器,传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。
May, 2018
通过融合 2D 语义先验和多视角几何约束,DNS SLAM 方法提出了一种新型的神经 RGB-D 语义 SLAM 方法,可以在保持稳定相机跟踪的同时,训练类别级别的场景表示,实现颜色、密度和语义类别信息的输出,并在合成数据和实际数据跟踪中取得了最先进的性能,同时在现有硬件上保持了良好的实时跟踪速度,并输出了带有更好的纹理和几何细节的分解重建结果。
Nov, 2023
本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合,在室内 / 室外数据集中得到了更好的 2D 语义标签识别,无需针对序列中的每一帧获得语义分割,其时间复杂度也得以合理控制。
Nov, 2016
介绍了一种使用语义特征的视觉惯性里程计系统 SemanticSLAM,可以在室内环境中进行可靠的相机定位,改善位姿估计并生成语义地图,可用于路径规划、避障和机器人导航等下游任务。
Jan, 2024
本文介绍了一种利用 RGB-D 图像序列进行协作式隐式神经同步定位与地图生成(SLAM)系统,该系统包括完整的前端和后端模块,包括里程计、回环检测、子图融合和全局优化。为了在一个统一的框架中实现所有这些模块,我们提出了一种新颖的基于神经元的三维场景表示方法,其中每个点维护一个可学习的神经元特征用于场景编码,并与某个关键帧相关联。此外,我们提出了一种分布式至集中式学习策略,用于改进协作式隐式 SLAM 的一致性和合作性。还提出了一种新颖的全局优化框架,以提高系统精度,类似于传统的束调整。在各种数据集上的实验证明了该方法在相机跟踪和地图生成方面的优越性。
Nov, 2023
本文介绍了 Photo-SLAM,一种具有超级基元地图的创新 SLAM 框架,通过同时利用显式几何特征进行定位和学习隐式光度特征来表示观察环境的纹理信息,以及采用高斯金字塔训练方法逐步学习多级特征以增强逼真的映射性能。实验证明,与当前最先进的 SLAM 系统相比,我们提出的 Photo-SLAM 在线逼真映射的性能显著优于其他系统,如 Replica 数据集中的 PSNR 提高了 30%,渲染速度快了数百倍。此外,Photo-SLAM 可以在像 Jetson AGX Orin 这样的嵌入式平台上实时运行,展示了机器人应用的潜力。
Nov, 2023
提出了一种利用神经隐式场表示解决室内场景语义 V-SLAM 问题的在线框架,并通过多项实验表明其在测试时间具有精确的跟踪、地图绘制和语义标注能力,能够扩展到 RGB 图像输入,为机器人视觉感知及相关问题提供了可行的解决方案。
Apr, 2023
本文提出了一种高效而健壮的技术,实现了 3D 室内场景的即时密集语义分割和重建,该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场,无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估,证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。
Apr, 2018