Oct, 2023

基于世界模型的视觉导航的 Sim2Real 迁移

PDF
TL;DR一种使用 Bird's Eye View 图像作为中间表示的系统，在模拟器中训练并能够通过零样本转移到真实世界，在真实世界环境中通过 Anchor 图像和混合密度 LSTM 增强鲁棒性，通过 Differential drive 机器人在 CARLA 模拟器中的训练和部署证明了该方法的有效性，并公开了相关代码、数据集和模型。
sim2real transferworld modelbird's eye view (bev)first-person view (fpv)anchor images
发现论文，激发创造
  • 视觉语言导航的模拟与实际转化

    本文旨在研究如何将视觉 - 语言导航技术 (VLN) 从模拟场景应用于物理机器人，并提出了使用子目标模型和领域随机化等方法，以提升在未知环境下的表现。作者在 325 平方米的办公室内进行实验，结果表明，在提前采集和注释了占用图和导航图的情况下，模拟 - to - 真实的转移成功率可达 46.8%，而完全没有先前信息的情况下，转移成功率仅有 22.5%。

    Nov, 2020

  • Sim-Real 联合强化迁移学习在 3D 室内导航中的应用

    本文介绍了一种基于对抗特征调整模型的 3D 室内导航机器人训练方法，通过视觉特征的转换与行为策略的模仿来提高机器人在真实环境中的表现。实验证明该方法能够在不需要额外人工注释的情况下，比基线方法表现提高 19.47%。

    Apr, 2019

  • 在实际环境中学习高效准确导航

    在自主导航的地面机器人领域，现有的研究大多使用真实感的动力学和感知模型，而本篇论文致力于通过在仿真环境中进行端到端的训练，减小模型在现实机器人平台上的差距，并取得了显著的性能和稳健性的提升。

    Jan, 2024

  • 自动驾驶汽车中从模拟环境到真实环境的驾驶观察模型可迁移性研究

    研究通过模拟数据进行驾驶员观察模型的训练，并探索将这些模型转移到真实自动驾驶场景中的可行性，结果显示模型的识别质量明显下降，存在模型转移的挑战。

    Jul, 2023

  • 虚拟到现实：在视觉语义分割中学习控制

    为解决机器人虚拟世界到真实世界的迁移问题，本文提出了一种基于模块化架构、采用语义图像分割作为元表示的深度强化学习方法，实现了 RGB 图像到语义图像段转换。实验结果表明，该架构在避障和目标跟踪任务中表现优异，并在虚拟和真实环境中均明显优于基准方法。

    Feb, 2018

  • 域随机化：从仿真到真实世界的深度神经网络转移

    探究了一种称为 “Domain Randomization” 的技术，该技术使用非真实随机纹理来训练深度神经网络对象定位器，使得该定位器在真实环境中表现出色，并且可以应用于机器人控制中。

    Mar, 2017

  • NeRF2Real: 使用神经辐射场实现从仿真到真实世界的视觉引导双足运动技能迁移

    使用 Neural Radiance Field 方法和物理仿真器在野外环境下通过视觉感知实现机器人的球推导航技能。

    Oct, 2022

  • 基于 3D 特征场的视觉语言导航的模拟转现实迁移

    通过模拟传递技术，赋予单目机器人全景遍历感知和全景语义理解，从而将高性能全景视觉 - 语言导航模型顺利应用于常见单目机器人，有效提高了机器人在实际环境中的导航性能。

    Jun, 2024

  • 机器人 VR 眼镜：基于实际到虚拟域适应的视觉控制

    本文提出了一种新颖的方法来解决从模拟环境到真实世界的深度强化学习策略传输问题，通过在部署阶段将真实世界的图像流翻译回合成域来解决这个问题，同时提出了一种不受下游任务影响的简单而有效的位移损失以及在室内和室外机器人实验中验证了我们的视觉控制方法。

    Feb, 2018

  • 从模拟中学习驾驶技能，无需真实世界标签

    该论文研究基于模拟的无人驾驶视觉导航系统，探讨了如何通过图像转换实现域间转换并在农村和城市道路上对自闭车的驾驶性能进行评估。

    Dec, 2018