Oct, 2019

使用模拟飞行学习将自然语言指令映射到物理四轴飞行器控制

PDF
TL;DR提出一种联合仿真和现实学习框架，将导航指令和第一人称视角的原始观察结果映射到连续控制上，并采用监督式加强异步学习算法，将仿真和真实环境结合起来进行训练，最终在一个自然语言指令遵从的物理四轴飞行器任务中验证其有效性。
navigationlearning frameworksupervised reinforcement asynchronous learningnatural language instruction-following taskquadcopter
发现论文，激发创造
  • 使用位置访问预测将导航指令映射到连续的控制动作

    该研究提出了一种将自然语言指令和原始观测映射到四轴飞行器无人机连续控制的方法，并使用两步模型分解进行简单高效的训练和评估，相对于其他指令跟踪方法，实现了 16.85％的任务完成精度提升。

    Nov, 2018

  • 秒学飞行

    通过使用基于强化学习的异态 actor-critic 架构和高度可靠的基于强化学习的训练方法，本研究提出了一种新颖的无人机控制框架，能够在仅 18 秒的训练时间内实现从模拟环境到真实环境的快速转化，并能在廉价的、现成的无人机上实现实时控制。同时，本研究通过介绍控制抽象、非线性和领域参数的分类以及引入一个全新的课程学习和高度优化的模拟器，提高了样本的复杂度和训练时间，并通过与现有控制解决方案的实验比较，展示了该框架在航迹跟踪方面具有竞争性能。

    Nov, 2023

  • 基于深层模型的强化学习学习飞行

    通过学习无人机动力学的概率模型，我们使用基于模型的强化学习学习了四旋翼的推进姿态控制器，完全使用生成潜在轨迹通过传播随机解析梯度来优化控制器和价值函数。

    Mar, 2020

  • 视觉四旋翼导航的并行强化学习模拟

    该研究提出了一种基于 AirSim 的仿真框架，实现了有效的并行训练、分散式训练和大规模代理训练，从而在机器人的视觉四轴导航中实现了学习时间从 3.9 小时降低到 11 分钟的优化。

    Sep, 2022

  • 教导无人机飞行比赛：模拟环境下的敏捷控制端到端回归

    该研究利用深度神经网络和数据增强来训练自主赛道竞速的无人机，表明数据增强对于端到端学习非常重要，并且优化后的神经网络能够在嵌入式硬件上实时运行，适用于实际部署。

    Aug, 2017

  • 在杂乱环境中学习感知敏捷飞行

    提出了一种基于学习的系统，通过模仿学习和强化学习的结合，实现了感知感知，在杂乱环境中实现了敏捷的飞行，并通过闭环控制演示了其性能。

    Oct, 2022

  • Sim-to-(Multi)-Real: 将低层鲁棒控制策略转移到多个四旋翼上

    使用强化学习训练神经网络，学习低级别的四轴飞行器控制策略，无需使用稳定的 PD 控制器，可以推广到多种四轴飞行器。

    Mar, 2019

  • 在未知环境中跟随自然语言指令的学习模型

    本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

    Mar, 2015

  • 通过模拟实现泛化：将模拟和真实数据集成到基于视觉的无人机深度强化学习中

    本文提出一种深度强化学习算法，将模拟数据和真实世界数据相结合，通过学习机器的动力学和建立一个可扩展的感知系统，让四旋翼机器人仅凭单目相机避免碰撞，并在各种光线和几何条件下，用一个小时的真实世界数据就能在新环境中避免碰撞。

    Feb, 2019

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017