Apr, 2024

一种基于注意力的深度学习框架用于实时单目视觉里程计：应用于无 GPS 无人机导航

PDF
TL;DR本文介绍了一种用于无人机的新型实时单目视觉里程计模型，使用了深度神经网络架构和自注意力模块，能够通过连续视频帧估计相机的自身运动，进而估计无人机的轨迹。该模型在两个视觉里程计数据集上测试，收敛速度比之前的循环神经网络模型快 48％，并且平均平移漂移减少了 22％，平均平移绝对轨迹误差改善了 12％，表现出更强的抗噪能力。
发现论文，激发创造
  • DeepVO：用深度递归卷积神经网络实现端到端视觉里程计

    本文提出了一种新的、基于深度循环卷积神经网络（RCNNs）的单目 VO 的端到端框架，通过该框架，可以直接从一系列原始 RGB 图像（视频）中推断出姿态，同时具备学习有效特征表示、深度循环神经网络中的序列动力学和关系的功能，实验验证了该技术具备与传统 VO 系统相当的竞争力。

    Sep, 2017

  • 深度视觉里程计引导特征选择

    本文提出了一种基于深度卷积递归神经网络的端到端视觉里程计体系结构，该体系结构使用了有指导的特征选择方法。实验表明，在流行的 KITTI 和 ICL_NUIM 基准测试中，我们的方法在解耦和关节相机姿态恢复方面都优于当前最先进的基于模型和基于学习的方法。

    Nov, 2018

  • 视觉里程计再探：应该学习什么？

    本文提出了一种单目视觉里程计算法，它结合了基于几何方法和深度学习的思想，并利用两个卷积神经网络进行深度估计和光流估计。在 KITTI 数据集上的实验表明，该算法具有较强的鲁棒性和良好的性能。

    Sep, 2019

  • 机器人定位与建图终稿 —— 用于自监督式深度视觉测距的顺序对抗学习

    使用深度神经网络进行图像生成任务以提取高级特征，进而估计视觉里程碑的深度和位姿，同时利用光流和循环神经网络以及生成对抗网络改进深度和位姿的估计精度。

    Sep, 2023

  • 基于递归神经网络的单目视觉里程计和深度（非）监督学习

    本研究提出了一种利用循环神经网络和多视图图像重投影以及前向 - 后向流一致性损失来训练的学习型多视图稠密深度地图和里程计估计方法，可用于视频的深度和视觉里程计估计，产生优于现有技术的单视图和多视图深度估计结果。

    Apr, 2019

  • 自我监督干扰学习驱动的城市环境单目视觉里程计鲁棒性

    本文提出了一种自监督方法，可忽略城市环境下摄像头图像中的 “干扰物”，从而鲁棒地估计车辆运动情况。我们利用离线多会话映射方法自动生成每个输入图像的像素级时间变化掩模和深度图，用于训练深度卷积网络和视觉里程计管道，最终实现了在动态、独立运动对象遮挡的情况下使用单目摄像头完成度量尺度的 VO，并且在超过 400 公里的牛津机器人数据集中获得了显著改善的运动估计精度。

    Nov, 2017

  • 基于 Transformer 模型的单目视觉里程计：一种视频理解方法

    利用基于自注意力机制的 TSformer-VO 模型，将单目视觉里程计作为视频理解任务，从视频片段中提取特征并通过端到端的方式估计摄像机的 6-DoF 位姿，取得了与基于几何和深度学习的方法相比具有竞争力的业内领先表现。

    May, 2023

  • 挑战性高动态范围环境下基于学习的图像增强技术用于视觉里程计

    探讨深度学习在视觉里程计系统中的应用，利用 Fine-Tuning 和 LSTM 网络对数据进行增强，提高数据表示能力，并通过使用小型 CNN 网络进行实时性优化，最终通过与 ORB-SLAM 和 DSO 等算法进行对比验证了该方法的提升效果。

    Jul, 2017

  • 用于视觉定位和里程计的深层辅助学习

    本研究提出了一种新的基于卷积神经网络的多任务全局姿态矫正和里程计评估方法 VLocNet，该模型结构紧凑、可实现实时推断，并采用了一种新颖的辅助损失函数来利用相关位姿信息进行训练，在室内和户外数据集上的实验结果表明，该模型具有可与 SIFT 算法媲美、甚至优于其表现的定位精度。

    Mar, 2018

  • 自监督几何引导的鲁棒单目视觉里程计初始化

    通过分析主要的失败案例并揭示优化过程的各种缺点，我们诊断了一种流行的学习型 SLAM 模型（DROID-SLAM）的关键弱点。然后，我们提出使用自监督先验，利用冻结的大规模预训练单眼深度估计初始化稠密捆绑调整过程，从而实现鲁棒的视觉里程计，无需对 SLAM 骨干进行微调。尽管方法简单，但在 KITTI 里程计和具有挑战性的 DDAD 基准上，我们的方法显示出显著的改进。代码和预训练模型将在发表后发布。

    Jun, 2024