秒学飞行

Nov, 2023

Learning to Fly in Seconds

Jonas Eschmann, Dario Albani, Giuseppe Loianno

TL;DR通过使用基于强化学习的异态 actor-critic 架构和高度可靠的基于强化学习的训练方法，本研究提出了一种新颖的无人机控制框架，能够在仅 18 秒的训练时间内实现从模拟环境到真实环境的快速转化，并能在廉价的、现成的无人机上实现实时控制。同时，本研究通过介绍控制抽象、非线性和领域参数的分类以及引入一个全新的课程学习和高度优化的模拟器，提高了样本的复杂度和训练时间，并通过与现有控制解决方案的实验比较，展示了该框架在航迹跟踪方面具有竞争性能。

Abstract

Learning-based methods, particularly reinforcement learning (RL), hold great promise for streamlining deployment, enhancing performance, and achieving generalization in the control of autonomous multirotor aerial vehicl

reinforcement learning autonomous multirotor aerial vehicles asymmetric actor-critic-based architecture simulation-to-reality (sim2real) transfer curriculum learning

发现论文，激发创造

Sim-to-(Multi)-Real: 将低层鲁棒控制策略转移到多个四旋翼上

使用强化学习训练神经网络，学习低级别的四轴飞行器控制策略，无需使用稳定的 PD 控制器，可以推广到多种四轴飞行器。

Mar, 2019

基于深层模型的强化学习学习飞行

通过学习无人机动力学的概率模型，我们使用基于模型的强化学习学习了四旋翼的推进姿态控制器，完全使用生成潜在轨迹通过传播随机解析梯度来优化控制器和价值函数。

Mar, 2020

视觉四旋翼导航的并行强化学习模拟

该研究提出了一种基于 AirSim 的仿真框架，实现了有效的并行训练、分散式训练和大规模代理训练，从而在机器人的视觉四轴导航中实现了学习时间从 3.9 小时降低到 11 分钟的优化。

Sep, 2022

QuadSim：用于强化学习算法的四旋翼旋转动力学模拟框架

本研究旨在设计和开发一个数学基础的四旋翼旋转动态仿真框架，以测试强化学习算法在各种灵活的配置下的表现，该框架利用初值问题求解常微分方程（ODE）系统来模拟四旋翼的线性和非线性表现，并通过添加随机高斯噪声使仿真变得确定性 / 随机性，同时该框架还支持多进程并行运行。

Feb, 2022

使用模拟飞行学习将自然语言指令映射到物理四轴飞行器控制

提出一种联合仿真和现实学习框架，将导航指令和第一人称视角的原始观察结果映射到连续控制上，并采用监督式加强异步学习算法，将仿真和真实环境结合起来进行训练，最终在一个自然语言指令遵从的物理四轴飞行器任务中验证其有效性。

Oct, 2019

强化学习控制四轴飞行器

本文介绍一种基于强化学习技术训练的神经网络控制四旋翼的方法，提出了一种新的、相对于现有算法更适用于控制四旋翼的学习算法，实验结果表明，该策略网络可以相对准确地对步阶响应做出反应，并且在非常恶劣的初始化情况下（手动向上扔，并具有 5m/s 的初始速度）也能够将四旋翼稳定悬停在空中，同时每个时间步的策略评估计算时间仅为 7μs。

Jul, 2017

利用模拟优化改进四旋翼零样本策略转移

本研究提出了一种数据驱动方法来优化模拟参数，实现从模拟到实际四旋翼的直接控制，通过强化学习的方式训练低级控制器需要比高级控制策略更精确的模拟。

Jan, 2022

QuadSwarm: 基于直接推力控制的模块化多旋翼模拟器，用于深度强化学习

QuadSwarm 是一款快速、可靠的单机器人和多机器人强化学习模拟器，针对问题进行了两方面的改进，即数据需求和物理模拟水平，其在多旋翼控制策略的开发和模拟现实世界中的应用方面具有许多优势。

Jun, 2023

深度无人机比赛：从模拟到现实中的域随机化

我们将最先进的规划和控制系统与卷积神经网络相结合，实现了自主机器人在动态环境中的高速飞行和对感知目标的实时认识，无需进行任何调整，同时通过领域随机化生成大量的模拟数据，使我们的系统对光照和目标出现变化具有鲁棒性，实现了在敏捷无人机飞行任务中的零次模拟到实际的成功展示。

May, 2019

基于表示的视角下的模拟到现实学习技能转移与发现

我们研究了使用表示学习进行机器人控制中的从仿真到实际的技能转移和发现。通过从马尔可夫决策过程的谱分解中获得灵感，我们得到了能够线性表示任何策略引发的状态 - 动作价值函数的表示，因此可以被视为技能。我们提出了一种处理动力学中仿真到实际差距的技能发现算法，从真实世界数据中学习由仿真到实际差距引起的新技能。我们通过强制要求学习的技能与来自仿真器的技能之间具有正交约束，并使用扩展的技能集合综合策略，来促进新技能的发现。我们通过将四旋翼控制器从仿真器转移到 Crazyflie 2.1 四旋翼上来展示我们的方法。我们展示了我们可以从单个仿真器任务中学习技能表示，并将其转移到包括悬停、起飞、降落和轨迹跟踪在内的多个不同实际任务中。我们的技能发现方法有助于缩小仿真到实际差距，并将实际控制器的性能提高了 30.2%。

Apr, 2024