Sep, 2023

增强基于视觉的敏捷飞行中的稳健场景转换的对比学习

PDF
TL;DR本文提出一种自适应多对比学习策略，用于视觉表示学习，实现了零样本场景转换和真实世界的部署。实验证明，该方法在航空器视觉导航领域的性能超过了所有其他基线模型。
scene transfervision-based mobile roboticsend-to-end policy learningcontrastive learningquadrotor flight
发现论文，激发创造
  • 示范对比学习

    该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

    Jan, 2022

  • 跨模态融合与知识传递的鲁棒导航

    通过跨模态融合方法和知识迁移框架，提出了一种改善移动机器人的泛化能力并实现从模拟到实际场景的导航技能转移的方法，通过教师 - 学生蒸馏架构，在理想环境中学习判别性表示和接近完美的策略，通过模仿教师的行为和表示，学生能够对来自多噪声模态输入的特征进行对齐，并减小变异对导航策略的影响，实验结果表明我们的方法在模拟和实际环境中全面超越了基准方法，并在不同工作条件下实现了稳健的导航性能。

    Sep, 2023

  • 飞行中应对杂乱环境的学习敏捷性适应

    通过层次学习和规划框架，利用试错和模型生成轨迹的方法，本研究通过在线无模型强化学习和预训练微调奖励机制来赋予飞行器在未知和部分可观察环境中适应敏捷性的能力，并在仿真和实际硬件验证中证明了该方法比常数敏捷度基准和替代方法在飞行效率和安全性方面的优势。

    Mar, 2024

  • Sim-Real 联合强化迁移学习在 3D 室内导航中的应用

    本文介绍了一种基于对抗特征调整模型的 3D 室内导航机器人训练方法，通过视觉特征的转换与行为策略的模仿来提高机器人在真实环境中的表现。实验证明该方法能够在不需要额外人工注释的情况下，比基线方法表现提高 19.47%。

    Apr, 2019

  • 学习可迁移的单目响应式微型飞行器控制策略

    提供了一个通用框架用于学习可转移的运动策略，旨在适应一些相似的场景，以解决自主机器行为的问题，并通过户外杂乱环境中的大量实际飞行实验证明了该方法的有效性。

    Aug, 2016

  • 在杂乱环境中学习感知敏捷飞行

    提出了一种基于学习的系统，通过模仿学习和强化学习的结合，实现了感知感知，在杂乱环境中实现了敏捷的飞行，并通过闭环控制演示了其性能。

    Oct, 2022

  • 机器人 VR 眼镜：基于实际到虚拟域适应的视觉控制

    本文提出了一种新颖的方法来解决从模拟环境到真实世界的深度强化学习策略传输问题，通过在部署阶段将真实世界的图像流翻译回合成域来解决这个问题，同时提出了一种不受下游任务影响的简单而有效的位移损失以及在室内和室外机器人实验中验证了我们的视觉控制方法。

    Feb, 2018

  • 基于视觉的自主无人机赛车的深度感觉运动策略学习

    通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

    Oct, 2022

  • 认知自我：通过机器感知实现可迁移的视觉控制策略

    提出了一种基于模型的强化学习策略，通过训练可转移机器人感知的世界动力学模型和机器人特定的动力学模型，从而利用以前在其他机器人上收集的数据来减少对机器人特定数据的需求，并在模拟和实际机器人上实现了视觉控制任务上的零泛化

    Jul, 2021

  • 虚拟到现实：在视觉语义分割中学习控制

    为解决机器人虚拟世界到真实世界的迁移问题，本文提出了一种基于模块化架构、采用语义图像分割作为元表示的深度强化学习方法，实现了 RGB 图像到语义图像段转换。实验结果表明，该架构在避障和目标跟踪任务中表现优异，并在虚拟和真实环境中均明显优于基准方法。

    Feb, 2018