四旋翼飞行器控制的自适应增益调度

Mar, 2024

四旋翼飞行器控制的自适应增益调度

Adaptive Gain Scheduling using Reinforcement Learning for Quadcopter Control

Mike Timmerman, Aryan Patel, Tim Reinhart

TL;DR本文通过使用强化学习技术 (Reinforcement Learning, RL) 来调整四旋翼控制器的控制增益，特别地，我们采用了近端策略优化 (Proximal Policy Optimization, PPO) 来训练一个根据实际情况调整控制增益的策略，其中主要目标是在跟随预定轨迹的同时最小化跟踪误差。本文的主要目的是分析自适应增益策略的有效性，并将其与静态增益控制算法的性能进行比较，使用积分平方误差和积分时间平方误差作为度量标准。结果表明，与静态增益控制器相比，自适应增益方案实现了超过 40% 的跟踪误差降低。

Abstract

The paper presents a technique using reinforcement learning (RL) to adapt the control gains of a quadcopter controller. Specifically, we employed Proximal Policy Optimization (PPO) to train a policy which adapts

reinforcement learning quadcopter controller proximal policy optimization adaptive gain policy tracking error

发现论文，激发创造

强化学习控制四轴飞行器

本文介绍一种基于强化学习技术训练的神经网络控制四旋翼的方法，提出了一种新的、相对于现有算法更适用于控制四旋翼的学习算法，实验结果表明，该策略网络可以相对准确地对步阶响应做出反应，并且在非常恶劣的初始化情况下（手动向上扔，并具有 5m/s 的初始速度）也能够将四旋翼稳定悬停在空中，同时每个时间步的策略评估计算时间仅为 7μs。

Jul, 2017

基于 PPO 的 DRL 自校准非线性 PID 无人机控制器实现鲁棒自主飞行

该研究旨在通过应用非线性深度强化学习（DRL）代理作为传统线性比例积分微分（PID）控制器的替代品，从而彻底改革无人机飞行控制。主要目标是实现无人机在手动和自主模式之间的无缝过渡，提高其响应性和稳定性。利用 Gazebo 模拟器中的 Proximal Policy Optimization（PPO）强化学习策略训练 DRL 代理，并通过添加价格为 20000 美元的室内 Vicon 跟踪系统实现 < 1mm 的定位精度，从而大大提高了自主飞行的精确性。为了在最短的无碰撞轨迹下引导无人机导航，我们还构建了一个三维 A * 路径规划器，并成功将其应用到实际飞行中。

Mar, 2024

自主飞行器基于深度强化学习的长期规划

本文研究了基于现实生活中无人机赛事的长期规划场景，对使用 PPO 算法训练的强化学习智能体在无人机比赛中与使用传统路径规划算法的模拟无人机进行了实验，使用对手无人机的 GPS 信息作为专家指导进行训练，成功解决了复杂状态空间问题，其代码可以在我们的 GitHub 存储库中找到。

Jul, 2020

通过分析策略梯度训练高效控制器

提出一种基于解析策略梯度法（APG）的控制方法来解决机器人系统控制问题，与 MPC 控制方法相比，该方法能够实现类似的轨迹跟踪性能，但计算时间要少一个数量级，在控制设计和优化领域有着极高的实际应用价值。

Sep, 2022

利用模拟优化改进四旋翼零样本策略转移

本研究提出了一种数据驱动方法来优化模拟参数，实现从模拟到实际四旋翼的直接控制，通过强化学习的方式训练低级控制器需要比高级控制策略更精确的模拟。

Jan, 2022

四轴飞行器控制的基于混合 Actor-Critic 神经结构的自适应 PID 控制

本文探讨了使用基于强化学习的神经网络自整定的 PID 控制算法，应用于四旋翼飞行器的姿态和高度控制，在动态和静态增益的调整中使用了适应性动量（ADAM）优化器和反向传播（BP）算法，并证明该方法比具有恒定增益的 PID 控制器具有更好的性能。

Jul, 2023

基于 MPC 引导的策略搜索学习自主飞行器深度控制策略

模型预测控制与强化学习相结合并在引导策略搜索框架下应用，通过使用机载传感器数据在训练时间内训练神经网络策略，该策略可成功地控制四旋翼飞行器的避障而无需系统完整状态知识。

Sep, 2015

零样本自适应四轴飞行器控制器

本论文提出了一种适用于四轴飞行器的通用自适应控制器，基于神经网络，通过在仿真环境中训练实现快速适应各种扰动和硬件变化。

Sep, 2022

Sim-to-(Multi)-Real: 将低层鲁棒控制策略转移到多个四旋翼上

使用强化学习训练神经网络，学习低级别的四轴飞行器控制策略，无需使用稳定的 PD 控制器，可以推广到多种四轴飞行器。

Mar, 2019

基于强化学习的 CrazyFlie 2.X 四轴飞行器控制

本研究的目标是探索 PID 算法和强化学习算法之间的协同作用，以实现对 CrazyFlie 2.X 四旋翼的实用控制机制进行控制。首要目标是使用强化学习策略进行 PID 调整。次要目标是通过与灯塔定位系统集成来实现导航控制。

Jun, 2023