IJCAIFeb, 2018

虚拟到现实：在视觉语义分割中学习控制

PDF
TL;DR为解决机器人虚拟世界到真实世界的迁移问题，本文提出了一种基于模块化架构、采用语义图像分割作为元表示的深度强化学习方法，实现了 RGB 图像到语义图像段转换。实验结果表明，该架构在避障和目标跟踪任务中表现优异，并在虚拟和真实环境中均明显优于基准方法。
robot learningvirtual-to-real problemmodular architecturesemantic image segmentationdeep reinforcement learning
发现论文，激发创造
  • 基于仿真的强化学习在自主驾驶中的应用

    采用强化学习和模拟技术开发驾驶系统，使用合成数据进行训练并验证了其在真实道路环境中的稳健性与有效性。

    Nov, 2019

  • 机器人 VR 眼镜：基于实际到虚拟域适应的视觉控制

    本文提出了一种新颖的方法来解决从模拟环境到真实世界的深度强化学习策略传输问题，通过在部署阶段将真实世界的图像流翻译回合成域来解决这个问题，同时提出了一种不受下游任务影响的简单而有效的位移损失以及在室内和室外机器人实验中验证了我们的视觉控制方法。

    Feb, 2018

  • 面向语义分割的视觉活动学习

    本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

    Dec, 2020

  • 基于 Sim-to-Seg 的 Sim-to-Real 方法：无需真实数据的全封闭自主驾驶

    通过使用强化学习技术以端到端的方式处理自主驾驶所需的 3D 场景理解、定位、映射和控制，并利用模拟数据中的 Sim2Seg 技术在模拟器和现实世界之间跨越视觉现实差距进行训练和实验，同时与传统感知和控制技术相比提供同等的性能。

    Oct, 2022

  • Sim-Real 联合强化迁移学习在 3D 室内导航中的应用

    本文介绍了一种基于对抗特征调整模型的 3D 室内导航机器人训练方法，通过视觉特征的转换与行为策略的模仿来提高机器人在真实环境中的表现。实验证明该方法能够在不需要额外人工注释的情况下，比基线方法表现提高 19.47%。

    Apr, 2019

  • 基于辅助人工智能消除歧义的视觉定位实现虚实转移

    本研究介绍了一种基于模块化方法的场景感知机器人视觉定位框架，该方法通过训练每个模块来独立解析实体、属性和空间关系，并结合领域自适应技术解决常见问题。实验表明，该框架与 Sim-To-Real 实现的视觉识别方法相结合，能够提供一种数据高效、稳健且易于理解的视觉定位机器人方案。

    May, 2022

  • 学习生成增强图像用于模拟到真实场景的策略迁移

    本文探讨在模拟环境中学习机器人操作策略的方法，通过使用深度图像数据的随机扩增策略，实现了在非真实场景下学习并获得了验证。

    Mar, 2019

  • 用于自动驾驶的虚拟到现实强化学习

    本文提出了一种虚拟到现实的转换网络，使得在虚拟环境中训练的强化学习驾驶策略可在现实世界中适应，实验证明此方法效果显著且为首次成功的案例。

    Apr, 2017

  • 增强现实与计算机视觉：城市驾驶场景的高效数据生成

    本研究探讨了结合实际图片和虚拟对象的增量学习方法，通过少量用户交互的方式，将虚拟对象添加到实际图片中，从而提高物体实例分割模型的性能。通过在 KITTI 2015 和 Cityscapes 数据集上的实验结果表明，增量学习方法可以显著提高实例分割和物体检测模型的泛化能力。

    Aug, 2017

  • MARVIS：动作与几何感知的真实和虚拟图像分割

    本研究提出了一种利用合成图像和领域不变信息、运动熵核和极线几何一致性进行真实和虚拟图像区分的新方法。通过创建模拟复杂水面的逼真合成图像，为网络（MARVIS）提供精细训练数据，有效地区分真实和虚拟图像。通过运动和几何感知的设计选择以及全面的实验分析，我们在未见的真实世界领域中实现了最先进的真实虚拟图像分割性能，达到 78％的 IoU 和 86％的 F1-Score，同时保证计算量小。

    Mar, 2024