综述了强化学习的优化和控制方法，重点关注连续控制应用。通过一个最简单和最研究的问题 - 线性二次调节器（LQR）的案例研究，描述了从学习理论和控制理论的融合可以提供LQR性能的非渐进特征，并表明这些特征趋向于匹配实验行为。同时，探讨了设计与不确定环境安全可靠交互的学习系统所面临的挑战以及强化学习和控制领域所提供的工具可能如何应对这些挑战。

Jun, 2018

研究在连续控制任务上，基于模型的方法与无模型方法的样本复杂度差异，发现基于模型的策略评估方法的样本复杂度会比最小二乘时序差分方法低，且最佳控制常常需要较少的样本量，这是首次在连续控制任务上证明了基于模型和无模型方法样本复杂度的分离现象。

Dec, 2018

通过学习无人机动力学的概率模型，我们使用基于模型的强化学习学习了四旋翼的推进姿态控制器，完全使用生成潜在轨迹通过传播随机解析梯度来优化控制器和价值函数。

Mar, 2020

本研究提出了一种数据驱动方法来优化模拟参数，实现从模拟到实际四旋翼的直接控制，通过强化学习的方式训练低级控制器需要比高级控制策略更精确的模拟。

Jan, 2022

该论文提出了一种新的轨迹跟踪器，用于自主四旋翼飞行器在动态和复杂环境下导航，在该系统中，分布式强化学习（RL）估计器用于未知的空气动力学效应，与随机模型预测控制（SMPC）相结合进行轨迹跟踪，用这种方法可以改进了至少66%的跟踪误差。

May, 2022

利用物理学领域的最新进展，提出一种新的方法来发现强化学习中物理系统的控制非线性动态，并证明此方法能够在很少的轨迹采样数量（仅需要一次$≤30$时间步的轨迹）下发现此动态，从而为系统带来基于模型的强化学习的好处，并且不需要事先开发模型。该算法在四个控制问题上的实验表明，训练得到的基于控制系统真实动态的最优策略泛化能力强，且对于实际物理系统具有很好的性能表现。与现有的其他方法相比，该方法需要采样更少的真实物理系统轨迹。

Aug, 2022

提出了一种新型的轨迹跟踪器，其集成了分布式强化学习扰动估计器和随机模型预测控制器，用于准确识别不确定的气动效应，并优化控制参数来保证凸性，实现了至少最优全局收敛速率和一个确定的亚线性速率，对于实际应用提出的 ConsDRED-SMPC 框架在在模拟和实际实验中均得到了验证和评估

Feb, 2023

本文提出了一种针对无人机的监督强化学习控制方法，通过与现有嵌入式控制交错的控制架构，以及针对恶劣风条件的稳健性表现，实现了对环境扰动的控制，使用Tarot T-18八旋翼机进行了案例研究，结果表明相对于大多数车辆中使用的经典级联控制结构，监督强化学习模式在面对未知的风力条件时取得了实质性的性能提高。

May, 2023

我们研究了一种空中操纵系统，即装备有可控制自由度的无人机 (UAV) 和机械臂来进行飞行实施任务，该解决方案基于采用Q学习方法来控制机械臂末端即末端执行器的轨迹，并采用基于时间碰撞 (TTC) 的运动规划模型，在确保机械臂可达性的同时，使四旋翼无人机绕过障碍物。

Aug, 2023

通过数据驱动方法，基于模型预测控制设计了一种改进的强化学习方法，该方法在经典数据库和无人机动态避障场景中实验结果验证了其高学习效率、更快的策略收敛速度以及需要更少的样本容量空间。

Oct, 2023