Mar, 2024

基于 PPO 的 DRL 自校准非线性 PID 无人机控制器实现鲁棒自主飞行

PDF
TL;DR该研究旨在通过应用非线性深度强化学习（DRL）代理作为传统线性比例积分微分（PID）控制器的替代品，从而彻底改革无人机飞行控制。主要目标是实现无人机在手动和自主模式之间的无缝过渡，提高其响应性和稳定性。利用 Gazebo 模拟器中的 Proximal Policy Optimization（PPO）强化学习策略训练 DRL 代理，并通过添加价格为 20000 美元的室内 Vicon 跟踪系统实现 < 1mm 的定位精度，从而大大提高了自主飞行的精确性。为了在最短的无碰撞轨迹下引导无人机导航，我们还构建了一个三维 A * 路径规划器，并成功将其应用到实际飞行中。
drone flight controldeep reinforcement learning (drl)proportional integral derivative (pid) controllersautonomous flight precision3 dimensional a* path planner
发现论文，激发创造
  • 自主飞行器基于深度强化学习的长期规划

    本文研究了基于现实生活中无人机赛事的长期规划场景，对使用 PPO 算法训练的强化学习智能体在无人机比赛中与使用传统路径规划算法的模拟无人机进行了实验，使用对手无人机的 GPS 信息作为专家指导进行训练，成功解决了复杂状态空间问题，其代码可以在我们的 GitHub 存储库中找到。

    Jul, 2020

  • 基于深层模型的强化学习学习飞行

    通过学习无人机动力学的概率模型，我们使用基于模型的强化学习学习了四旋翼的推进姿态控制器，完全使用生成潜在轨迹通过传播随机解析梯度来优化控制器和价值函数。

    Mar, 2020

  • 基于强化学习的 CrazyFlie 2.X 四轴飞行器控制

    本研究的目标是探索 PID 算法和强化学习算法之间的协同作用，以实现对 CrazyFlie 2.X 四旋翼的实用控制机制进行控制。首要目标是使用强化学习策略进行 PID 调整。次要目标是通过与灯塔定位系统集成来实现导航控制。

    Jun, 2023

  • 四旋翼飞行器控制的自适应增益调度

    本文通过使用强化学习技术 (Reinforcement Learning, RL) 来调整四旋翼控制器的控制增益，特别地，我们采用了近端策略优化 (Proximal Policy Optimization, PPO) 来训练一个根据实际情况调整控制增益的策略，其中主要目标是在跟随预定轨迹的同时最小化跟踪误差。本文的主要目的是分析自适应增益策略的有效性，并将其与静态增益控制算法的性能进行比较，使用积分平方误差和积分时间平方误差作为度量标准。结果表明，与静态增益控制器相比，自适应增益方案实现了超过 40% 的跟踪误差降低。

    Mar, 2024

  • 基于视觉的自主无人机赛车的深度感觉运动策略学习

    通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

    Oct, 2022

  • 基于深度强化学习的 无人机无线数据采集路径规划

    该论文提出一种新的端到端强化学习方法来规划机载无人机收集物联网中的分布式传感器节点的数据，以实现对下一代通信网络的支持。通过训练一个双重深度 Q 网络来实现对不同情况参数的泛化控制，从而使代理可以根据平衡数据收集目标和飞行时间效率的安全约束，在各种场景参数下做出运动决策。

    Jul, 2020

  • 四轴飞行器控制的基于混合 Actor-Critic 神经结构的自适应 PID 控制

    本文探讨了使用基于强化学习的神经网络自整定的 PID 控制算法，应用于四旋翼飞行器的姿态和高度控制，在动态和静态增益的调整中使用了适应性动量（ADAM）优化器和反向传播（BP）算法，并证明该方法比具有恒定增益的 PID 控制器具有更好的性能。

    Jul, 2023

  • 一种用于无人机自主降落平台的深度强化学习策略

    本文阐述了如何将深度强化学习算法应用于机器人领域，主要关注于以物理模拟平台为基础的无人机飞行任务控制，使用基于 Gazebo 的强化学习框架进行训练，最终成功实现了无人机自主降落的任务

    Sep, 2022

  • 采用深度强化学习的一次性、离线和适用于生产规模的 PID 优化

    该论文介绍了一种基于深度强化学习的方法来优化具有多目标性能要求的 PID 控制参数。通过应用该方法，研究者展示了在温度变化、速度和稳定性等多种要素下，开关产品的性能可以大幅提升同时实现高效的离线应用。

    Oct, 2022

  • 基于体素化模型的深度强化学习提升车辆空气动力学性能

    本文介绍了一种使用深度强化学习在汽车设计中优化空气动力学的新方法，使用体素化模型来离散化车辆几何形状，通过训练深度强化学习代理网络来优化车辆的设计参数以获得更好的空气动力性能。实验结果表明该方法在实现显著的空气动力性能方面具有有效性和高效性，为改善车辆性能、燃油效率和环境可持续性提供了启示，适用于解决复杂的汽车工程中的空气动力学设计优化问题。

    May, 2024