自我改进的视觉里程计
通过分析主要的失败案例并揭示优化过程的各种缺点,我们诊断了一种流行的学习型 SLAM 模型(DROID-SLAM)的关键弱点。然后,我们提出使用自监督先验,利用冻结的大规模预训练单眼深度估计初始化稠密捆绑调整过程,从而实现鲁棒的视觉里程计,无需对 SLAM 骨干进行微调。尽管方法简单,但在 KITTI 里程计和具有挑战性的 DDAD 基准上,我们的方法显示出显著的改进。代码和预训练模型将在发表后发布。
Jun, 2024
该论文提出了一种新的混合视觉里程计(VO)框架,利用仅姿态监督来平衡鲁棒性和对大量标注的需求,并采用自我监督的同态学习和随机基于补丁的显著点检测策略,提高系统在各种具有挑战性的环境中的泛化能力。该方法在标准数据集上具有竞争力的性能,并在极端和未知场景中表现出更高的鲁棒性和泛化能力,甚至超过基于密集光流监督的最先进方法。
Apr, 2024
自监督学习 VO 的一种特殊考虑一致性的方法,采用具有两层卷积 LSTM 模块的姿态网络对姿态预测中的长期依赖进行建模,通过自监督损失进行训练,包括模拟几何 VO 中的循环一致性丢失的循环一致性丢失,并通过引入一种损失使网络能够在训练期间超出小时间窗口。结果表明,在几个 VO 数据集中表现出竞争性结果,包括 KITTI 和 TUM RGB-D。
Jul, 2020
本文基于帧间关联思想,应用自监督深度估计框架,引入生成对抗网络技术,构建了一个视觉里程计系统,实现了更加精准的深度估计以及超越同类方法的姿态估计。
Aug, 2019
本文提出了一种基于在线元学习算法的自监督 Visual Odometry(VO)方法,利用了卷积长短时记忆(convLSTM)和特征对齐技术,实现了 VO 网络的持续适应新环境和快速自我更新。实验证明,该方法在未见过的户外场景、虚拟到真实世界和室外到室内环境转换中都明显优于基于自监督学习的 VO 基线方法。
May, 2020
本文提出了一种自监督方法,可忽略城市环境下摄像头图像中的 “干扰物”,从而鲁棒地估计车辆运动情况。我们利用离线多会话映射方法自动生成每个输入图像的像素级时间变化掩模和深度图,用于训练深度卷积网络和视觉里程计管道,最终实现了在动态、独立运动对象遮挡的情况下使用单目摄像头完成度量尺度的 VO,并且在超过 400 公里的牛津机器人数据集中获得了显著改善的运动估计精度。
Nov, 2017
利用激光雷达传感器获取的稀疏但准确的深度测量,设计了一个自监督视觉 - 激光雷达里程计 (Self-VLO) 框架,该框架通过两个路径编码器提取视觉和深度图像中的特征,并将这些特征与多尺度解码器中的特征通过融合模块融合起来,从而在端到端学习的方式下产生姿态和深度估计。实验结果表明,该方法优于所有自监督视觉或激光雷达里程计,并且优于全监督视觉里程表,证明了融合的强大表现能力。
Jan, 2021
本文提出了一种基于自适应视觉惯性传感器融合和对抗训练的自监督深度学习方法 (SelfVIO),用于从未标记的单目 RGB 图像序列和惯性测量单元 (IMU) 读数中共同估计 6 自由度自我动作和景深图。该方法在 KITTI、EuRoC 和 Cityscapes 数据集上的表现优于目前研究领域中其他的 VIO 方法。
Nov, 2019