本研究提出了一种新的针对增强学习的策略梯度方法，称为近端策略优化(PPO)，通过与环境的交互采样数据，并使用随机梯度上升优化“替代”目标函数，不同于标准的策略梯度方法，该方法可以实现多个小批量更新周期，实验结果表明PPO在模拟机器人运动和Atari视频游戏玩耍等基准任务上的表现优于其他在线策略梯度方法，同时在样本复杂度、实现简单性和时间效率等方面取得了有利的平衡。

Jul, 2017

提出了Proximal Policy Optimization (PPO)算法的改进版本PPO-CMA，通过adaptively扩大exploration variance来加速算法优化速度，相对于传统PPO算法在Roboschool continuous control benchmarks任务中表现显著提升，且不需要耗费大量篇幅调节参数。

Oct, 2018

在本文中，我们介绍了一种基于强化学习和近端策略优化的方法来改进利用碎片网捕捉和处理太空垃圾的可行性。我们提出的策略不仅能在不同的场景下捕获垃圾，而且在许多方面都比基于可靠性的优化要好。

Jan, 2022

该论文研究了使用强化学习的方法来优化低推力卫星的轨迹设计和自主控制。研究表明这种方法可以学习出几乎最优的引导定律，并且对环境动态的不确定性有很好的适应性。

Oct, 2022

该研究提出了一种名为PPO-UE的策略，它基于比率不确定性水平，优化探索过程，从而在 Roboschool 连续控制任务中显著优于基线 PPO。

Dec, 2022

该研究提出了一种基于深度强化学习的新型套件，用于控制模拟和真实环境中的浮动平台，在动态和不可预测的条件下实现精确操纵，并具备鲁棒性、适应性和从模拟到现实的良好迁移能力。

Oct, 2023

我们介绍了一种新颖的贝叶斯演员-评论家强化学习算法，用于学习具有稳定性保证的控制策略，以实现自主航天器的接近操纵和对接。该算法应用了李雅普诺夫理论原理，将时间差分学习视为一个受约束的高斯过程回归问题。结合高斯过程和深度核学习，将状态值函数表示为李雅普诺夫函数。我们开发了一种新颖的贝叶斯积分政策优化过程来分析计算策略梯度，并集成了基于李雅普诺夫的稳定性约束。该算法实验性地在航天器空气轴承试验台上进行了评估，表现出令人印象深刻和有希望的性能。

Nov, 2023

该研究旨在通过应用非线性深度强化学习（DRL）代理作为传统线性比例积分微分（PID）控制器的替代品，从而彻底改革无人机飞行控制。主要目标是实现无人机在手动和自主模式之间的无缝过渡，提高其响应性和稳定性。利用Gazebo模拟器中的Proximal Policy Optimization（PPO）强化学习策略训练DRL代理，并通过添加价格为20000美元的室内Vicon跟踪系统实现<1mm的定位精度，从而大大提高了自主飞行的精确性。为了在最短的无碰撞轨迹下引导无人机导航，我们还构建了一个三维A*路径规划器，并成功将其应用到实际飞行中。

Mar, 2024

本研究分析了模型预测控制（MPC）和近端策略优化（PPO）在单自由度量测Quanser Aero 2系统中的应用。该论文探讨了这两种控制方法在动态响应特性、性能、计算资源消耗和实现复杂性方面的比较，结果发现PPO在快速响应和适应性方面表现优异，具有广泛的应用潜力。

Aug, 2024

本研究针对太空碎片会合任务中的规划效率问题，提出了一种基于深度强化学习的 masked PPO 算法的新应用。该方法通过优化碎片访问顺序，显著缩短了任务总时间，比遗传算法和贪婪算法分别减少了约 10.96% 和 13.66%。这一创新方法为提升太空碎片清除任务的规划策略提供了新的思路。

Sep, 2024