Nov, 2019

SelfVIO：自监督深度单目视觉 - 惯性里程计和深度估计

PDF
TL;DR本文提出了一种基于自适应视觉惯性传感器融合和对抗训练的自监督深度学习方法 (SelfVIO)，用于从未标记的单目 RGB 图像序列和惯性测量单元 (IMU) 读数中共同估计 6 自由度自我动作和景深图。该方法在 KITTI、EuRoC 和 Cityscapes 数据集上的表现优于目前研究领域中其他的 VIO 方法。
self-supervised learningviodepth mapadversarial trainingsensor fusion
发现论文，激发创造
  • DeepVIO：使用三维几何约束进行单目视觉惯性里程计的自监督深度学习

    该文章介绍了一种名为 DeepVIO 的自监督深度学习网络，通过直接合并 2D 光流特征（OFF）和惯性测量单元（IMU）数据，提供绝对轨迹估计，实验结果表明其在准确性和数据可适应性方面优于传统的基于 Deep-Learning 方法。

    Jun, 2019

  • 使用在线误差纠正的无监督深度网络进行视觉辅助的绝对轨迹估计

    本研究介绍了一种无监督深度神经网络方法，用于融合 RGB-D 图像和惯性测量进行绝对轨迹估计。我们的网络在没有 IMU 固有参数或 IMU 与相机之间的外部校准的情况下进行学习，学习整合 IMU 测量并生成假设轨迹，然后根据空间像素坐标的缩放图像投影误差的雅可比矩阵进行在线更正。在 KITTI Odometry 数据集上与最先进的视觉惯性测距，视觉测距和视觉同时定位和地图构建（VSLAM）方法进行了比较，表现出有竞争力的测距性能。

    Mar, 2018

  • 自适应视觉模式选择的高效深度视觉和惯性里程计

    本文介绍了一种基于深度学习的自适应视觉惯性测距（VIO）方法，采用先进的策略网络，根据运动状态和惯性测量读数，在可能的情况下对视觉模态进行去激活，以减少计算的冗余并实现自适应复杂性缩减。实验结果表明，该技术可在评估 KITTI 数据集时实现高达 78.8% 的计算复杂度降低，其性能与完整模态基线方法相当甚至更好。

    May, 2022

  • 带有翻转一致性的自监督视觉 - LiDAR 测距 Odometry

    利用激光雷达传感器获取的稀疏但准确的深度测量，设计了一个自监督视觉 - 激光雷达里程计 (Self-VLO) 框架，该框架通过两个路径编码器提取视觉和深度图像中的特征，并将这些特征与多尺度解码器中的特征通过融合模块融合起来，从而在端到端学习的方式下产生姿态和深度估计。实验结果表明，该方法优于所有自监督视觉或激光雷达里程计，并且优于全监督视觉里程表，证明了融合的强大表现能力。

    Jan, 2021

  • CodeVIO：基于学习优化的密集深度视觉惯性里程计

    本文提出了一个轻量级的深度网络和视觉惯性测距（VIO）系统，利用提出的轻量级条件变分自动编码器（CVAE）来提高初始深度预测的精度和泛化能力，以便提供精确的状态估计和稠密的深度图。

    Dec, 2020

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • GANVO: 基于生成对抗网络的无监督单目视觉里程计与深度估计

    本文提出了一种基于生成对抗网络的无监督学习框架，从未标记的 RGB 图像序列中预测场景的 6 自由度姿态相机运动和单目深度图，并在 KITTI 和 Cityscapes 数据集上给出了详细的定量和定性评估，结果表明该方法优于现有传统和无监督深度 VO 方法，提供更好的姿态估计和深度恢复结果。

    Sep, 2018

  • 用于自监督深度视觉里程计的顺序对抗学习

    本文基于帧间关联思想，应用自监督深度估计框架，引入生成对抗网络技术，构建了一个视觉里程计系统，实现了更加精准的深度估计以及超越同类方法的姿态估计。

    Aug, 2019

  • 自监督几何引导的鲁棒单目视觉里程计初始化

    通过分析主要的失败案例并揭示优化过程的各种缺点，我们诊断了一种流行的学习型 SLAM 模型（DROID-SLAM）的关键弱点。然后，我们提出使用自监督先验，利用冻结的大规模预训练单眼深度估计初始化稠密捆绑调整过程，从而实现鲁棒的视觉里程计，无需对 SLAM 骨干进行微调。尽管方法简单，但在 KITTI 里程计和具有挑战性的 DDAD 基准上，我们的方法显示出显著的改进。代码和预训练模型将在发表后发布。

    Jun, 2024

  • 神经视觉惯性测距的选择性传感器融合

    本研究提出一种新颖的端到端选择性传感器融合框架，用于单目视觉内导（VIO）中的图像和惯性测量融合，以估计轨迹并提高对实际问题的鲁棒性，在三个公共数据集上进行了全面测试，并展示了融合策略的效果，尤其是在存在错误数据情况下。

    Mar, 2019