ECCVApr, 2020

自我优化单目 SLAM 和深度预测的伪 RGB-D

PDF
TL;DR本文提出一种基于 SLAM 和 CNNs 的结合框架，将 CNN-predicted depth 用于伪 RGB-D feature-based SLAM，同时将几何 SLAM 的 3D 场景结构和相机姿势注入到深度网络中，以实现更好的姿态和 3D 结构估计。实验表明，该框架在 KITTI 和 TUM RGB-D 数据集上优于先前的方法。
slamcnnsdepth predictiongeometry-cnn frameworkmonocular videos
发现论文，激发创造
  • CNN-SLAM: 实时稠密单目 SLAM 与深度预测学习

    本文研究了如何利用卷积神经网络深度预测图来进行准确而密集的单目重建，并提出了一种将 CNN 预测的密集深度图与直接单目 SLAM 测量所获得的深度测量自然融合的方法，证明了这种方法在场景重建绝对尺度估计等方面的鲁棒性和准确性。最终，提出了一个将语义标签与单个帧的密集 SLAM 高效融合的框架，能够从单个视图中获得语义一致的场景重建。

    Apr, 2017

  • MoD-SLAM：无边界三维场景重建的单目稠密地图生成

    MoD-SLAM 是一种基于神经网络的单目稠密建图方法，通过使用单目深度估计来优化场景重建，并利用闭环检测来更新相机姿态，实现实时在无边界场景中进行全局姿态优化和三维重建。与以往神经网络建图方法相比，我们的方法更加稳健、可扩展和多功能，在大型无边界场景中表现出更卓越的建图性能。

    Feb, 2024

  • Photo-SLAM: 单目、双目和 RGB-D 相机的实时同时定位和逼真地图建模

    本文介绍了 Photo-SLAM，一种具有超级基元地图的创新 SLAM 框架，通过同时利用显式几何特征进行定位和学习隐式光度特征来表示观察环境的纹理信息，以及采用高斯金字塔训练方法逐步学习多级特征以增强逼真的映射性能。实验证明，与当前最先进的 SLAM 系统相比，我们提出的 Photo-SLAM 在线逼真映射的性能显著优于其他系统，如 Replica 数据集中的 PSNR 提高了 30％，渲染速度快了数百倍。此外，Photo-SLAM 可以在像 Jetson AGX Orin 这样的嵌入式平台上实时运行，展示了机器人应用的潜力。

    Nov, 2023

  • 用于半监督单目深度估计的 RGB-D 大型数据集

    使用基于学生 - 教师策略、数据集成和立体信心引导回归损失的方法，可以提高单目深度估计的精度，并用于高级视觉任务，如室外场景的驾驶情境等。

    Apr, 2019

  • 单目 SLAM 的半稠密三维语义映射

    本论文将最新的深度学习方法与基于视频流的半稠密 SLAM 相结合，在室内 / 室外数据集中得到了更好的 2D 语义标签识别，无需针对序列中的每一帧获得语义分割，其时间复杂度也得以合理控制。

    Nov, 2016

  • $S^3$Net：基于语义感知的自监督单目视频和合成数据深度估计

    本文介紹了一種自監督學習的深度估計方法，在使用合成數據和真實數據訓練的同時，利用幾何、時間和語義約束，實現了單目視頻深度估計的新的最先進技術，相較其他自監督和合成方法提高了 15% 到 10% 不等。

    Jul, 2020

  • Self6D: 自监督单目 6D 物体姿态估计

    使用无监督学习的方法进行单眼 RGB 数据下的 6D 物体位姿估计，作者训练了一个神经网络模型，通过真实 RGB-D 数据的自监督模式来提高模型的性能表现，并证明了该方法能够显著地优化模型的性能，超过了其他使用合成数据或领域适应技术的方法。

    Apr, 2020

  • 一种多模式用于单模式视觉地点分类的方法

    本文提出一种使用伪深度测量的多模态 RGB-D 分类方法，通过多传感器融合方法和最新的域不变单目深度估计技术，克服了单模态 RGB 图像分类易受空间外观变化以及季节、天气、照明等域变化干扰导致精度下降的问题，并通过公共 NCLT 数据集进行跨域场景实验，证明了所提出的分类框架的有效性。

    May, 2023

  • DeLS-3D: 3D 语义地图的深度定位与分割

    该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

    May, 2018

  • 单目深度图预测的半监督深度学习

    本文提出了一种半监督学习的深度学习方法，通过稀疏的真实深度数据和直接图像对齐误差来学习单目图像深度地图的预测，实验结果表现出一定的优越性。

    Feb, 2017