Jun, 2024

自监督几何引导的鲁棒单目视觉里程计初始化

PDF
TL;DR通过分析主要的失败案例并揭示优化过程的各种缺点，我们诊断了一种流行的学习型 SLAM 模型（DROID-SLAM）的关键弱点。然后，我们提出使用自监督先验，利用冻结的大规模预训练单眼深度估计初始化稠密捆绑调整过程，从而实现鲁棒的视觉里程计，无需对 SLAM 骨干进行微调。尽管方法简单，但在 KITTI 里程计和具有挑战性的 DDAD 基准上，我们的方法显示出显著的改进。代码和预训练模型将在发表后发布。
发现论文，激发创造
  • 自我改进的视觉里程计

    我们提出了一种自我监督学习框架，使用未标记的单眼视频序列生成大规模监督，用于训练视觉里程计前端，并使用输出来创建自我监督数据集以重新训练前端。

    Dec, 2018

  • 自我监督干扰学习驱动的城市环境单目视觉里程计鲁棒性

    本文提出了一种自监督方法，可忽略城市环境下摄像头图像中的 “干扰物”，从而鲁棒地估计车辆运动情况。我们利用离线多会话映射方法自动生成每个输入图像的像素级时间变化掩模和深度图，用于训练深度卷积网络和视觉里程计管道，最终实现了在动态、独立运动对象遮挡的情况下使用单目摄像头完成度量尺度的 VO，并且在超过 400 公里的牛津机器人数据集中获得了显著改善的运动估计精度。

    Nov, 2017

  • 带有翻转一致性的自监督视觉 - LiDAR 测距 Odometry

    利用激光雷达传感器获取的稀疏但准确的深度测量，设计了一个自监督视觉 - 激光雷达里程计 (Self-VLO) 框架，该框架通过两个路径编码器提取视觉和深度图像中的特征，并将这些特征与多尺度解码器中的特征通过融合模块融合起来，从而在端到端学习的方式下产生姿态和深度估计。实验结果表明，该方法优于所有自监督视觉或激光雷达里程计，并且优于全监督视觉里程表，证明了融合的强大表现能力。

    Jan, 2021

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • SelfVIO：自监督深度单目视觉 - 惯性里程计和深度估计

    本文提出了一种基于自适应视觉惯性传感器融合和对抗训练的自监督深度学习方法 (SelfVIO)，用于从未标记的单目 RGB 图像序列和惯性测量单元 (IMU) 读数中共同估计 6 自由度自我动作和景深图。该方法在 KITTI、EuRoC 和 Cityscapes 数据集上的表现优于目前研究领域中其他的 VIO 方法。

    Nov, 2019

  • 机器人定位与建图终稿 —— 用于自监督式深度视觉测距的顺序对抗学习

    使用深度神经网络进行图像生成任务以提取高级特征，进而估计视觉里程碑的深度和位姿，同时利用光流和循环神经网络以及生成对抗网络改进深度和位姿的估计精度。

    Sep, 2023

  • 自监督预训练和微调用于单目深度和视觉里程计

    我们提出了一种使用自监督变换器模型进行单目深度和视觉里程计估计任务的方法，分为两个步骤：第一步是使用跨视角补全目标（CroCo）进行通用预训练以学习 3D 几何，然后在非标注视频上进行自监督微调。我们展示了我们的自监督模型可以通过使用视觉变换器、密集预测变换器和适配器等标准组件达到最先进的性能。通过在六个基准数据集上进行评估，包括静态和动态、室内和室外、合成和真实图像，我们证明了我们提出方法的有效性，尤其在深度预测任务中超过了最先进的方法。

    Jun, 2024

  • 基于稠密三维流的单目视觉里程计与稠密三维建图学习

    本文介绍了一个全新的深度学习方法来进行单目 SLAM，通过使用学习视觉里程计（L-VO）和稠密 3D 映射的神经网络，该方法能够实现同时定位与建图。

    Mar, 2018

  • 机器人应用中 LiDAR 自监督学习测距法

    提出了一种多用途的自监督 LiDAR 里程计估计方法，该方法在训练期间有选择地应用几何损失，无需任何标签或地面数据，适用于精度难以获得的应用中的姿态估计。

    Nov, 2020

  • 自监督端到端视觉里程计的几何一致性

    该论文提出了一种利用几何结构作为自我监督信号的无监督深度视觉里程计学习范例，并表明这种方法与监督学习方法在性能上的竞争力相当。

    Apr, 2018