Mar, 2020

MVP: 大规模机器人导航的统一运动和视觉自监督学习

PDF
TL;DR提出了 MVP 方法，该方法利用视觉感知和优化运动估计数据相结合，通过强化学习实现无人驾驶车辆的自主导航，相较于传统的仅利用视觉进行导航的方法，MVP 在大尺度环境下具有更高的学习速度、准确性和稳健性，同时克服了 GPS 数据的可靠性问题。
autonomous navigationvisual perceptionreinforcement learningmotion estimationlarge-scale navigation
发现论文，激发创造
  • VANP：自我监督视觉行动预训练导航中的视觉焦点学习

    提出了一种自我监督视觉行为模型（VANP）用于视觉导航的预训练，通过最大化嵌入之间的信息来学习与导航任务相关的特定视觉区域，实现了与完全监督模型相媲美的性能，同时减少了一半的训练时间和仅使用 0.08% 的 ImageNet 数据进行训练。

    Mar, 2024

  • 机器人定位与建图终稿 —— 用于自监督式深度视觉测距的顺序对抗学习

    使用深度神经网络进行图像生成任务以提取高级特征，进而估计视觉里程碑的深度和位姿，同时利用光流和循环神经网络以及生成对抗网络改进深度和位姿的估计精度。

    Sep, 2023

  • 使用自身中心和世界中心地图实现主动域无关的自定位

    通过使用深度强化学习训练域不变的 next-best-view planner（下一个最佳视角规划器）来解决在自主机器人导航中收集大量视觉经验的高成本问题。具体来说，使用卷积神经网络中的输出层提示和中间层提示来训练多视角 NBV 规划器并在公共 NCLT 数据集上进行实验证实了该方法的有效性。

    Apr, 2022

  • 将最优控制与学习相结合，用于新颖环境的视觉导航

    通过将模型驱动控制与基于学习的感知相结合，本研究提出了一种适用于未知场景下机器人导航的方法，实验结果表明，相比于几何映射和终端学习方法，该方法在处理复杂环境下的目标到达更加可靠和高效。本方法不依赖于对环境的详细、明确的 3D 地图，适用于低帧率，且具有良好的仿真到真实世界的泛化性能。

    Mar, 2019

  • 基于在线视觉语言映射的真实世界视觉语言导航

    在本文中，我们提出了一个在真实世界中解决 VLN 任务的新型导航框架，该框架利用强大的基础模型，并包括四个关键组成部分：(1) 将语言指令转换为预定义的宏操作描述的 LLMs-based 指令解析器，(2) 构建实时的视觉 - 语言地图以保持对未知环境的空间和语义理解的在线视觉 - 语言映射器，(3) 基于语言索引的定位器，将每个宏操作描述重新映射到地图上的路径点位置，以及 (4) 基于 DD-PPO 的本地控制器，用于预测动作。我们在未知的实验室环境中使用 Interbotix LoCoBot WX250 对提出的流程进行了评估，而无需进行任何细微调整，在真实世界中，我们的流程明显优于 SOTA VLN 基线。

    Oct, 2023

  • 机器人导航的视觉语言地图

    本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

    Oct, 2022

  • 自我监督干扰学习驱动的城市环境单目视觉里程计鲁棒性

    本文提出了一种自监督方法，可忽略城市环境下摄像头图像中的 “干扰物”，从而鲁棒地估计车辆运动情况。我们利用离线多会话映射方法自动生成每个输入图像的像素级时间变化掩模和深度图，用于训练深度卷积网络和视觉里程计管道，最终实现了在动态、独立运动对象遮挡的情况下使用单目摄像头完成度量尺度的 VO，并且在超过 400 公里的牛津机器人数据集中获得了显著改善的运动估计精度。

    Nov, 2017

  • 机器人步态导航中的视觉与本体感融合

    利用视觉和本体感底层控制策略开发了一种针对四足机器人的点目标导航系统（VP-Nav），使用本体感反馈确保计划路径的安全性来实现对机械的信息感知。通过使用内置摄像头生成占有空间图和相应的代价图，以到达目标，在速度指令生成器中设置安全顾问模块来对意外障碍进行感知和环境决定的速度限制。

    Dec, 2021

  • 自我改进的视觉里程计

    我们提出了一种自我监督学习框架，使用未标记的单眼视频序列生成大规模监督，用于训练视觉里程计前端，并使用输出来创建自我监督数据集以重新训练前端。

    Dec, 2018

  • 自监督几何引导的鲁棒单目视觉里程计初始化

    通过分析主要的失败案例并揭示优化过程的各种缺点，我们诊断了一种流行的学习型 SLAM 模型（DROID-SLAM）的关键弱点。然后，我们提出使用自监督先验，利用冻结的大规模预训练单眼深度估计初始化稠密捆绑调整过程，从而实现鲁棒的视觉里程计，无需对 SLAM 骨干进行微调。尽管方法简单，但在 KITTI 里程计和具有挑战性的 DDAD 基准上，我们的方法显示出显著的改进。代码和预训练模型将在发表后发布。

    Jun, 2024