Jun, 2024

基于动态规划的模型预测控制和强化学习的统一框架

PDF
TL;DR本文描述了一个将近似动态规划 (DP)、模型预测控制 (MPC) 和强化学习 (RL) 连接起来的新概念框架，其中通过牛顿法的强大机制，离线训练和在线应用算法相互独立地设计，协同运作。这一理论架构为强化学习和模型预测控制之间的文化差距提供了桥梁，并对模型预测控制中的一些基本问题提供了新的见解。
dynamic programmingmodel predictive controlreinforcement learningoff-line trainingon-line play
发现论文，激发创造
  • 基于概率模型预测控制的高效数据强化学习

    本文提出了基于概率模型预测控制（MPC）的基于模型的 RL 框架，以减少与环境的相互作用次数的方法。该方法使用高斯过程学习概率转换模型来减少模型误差的影响，同时使用 MPC 找到最小化预期长期成本的控制序列，以达到在受限环境下使用 RL 的目的。

    Jun, 2017

  • 将循环强化学习纳入模型预测控制中，以实现自主驾驶中的自适应控制

    通过解决 MPC 控制器在现实场景下系统识别学习失败的问题，将其转化为部分观察马尔科夫决策过程，通过循环强化学习不断地适应动态模型参数，该论文提出了一种自适应控制算法 (MPC-RRL)，最终在 CARLA 模拟器中得出了具有鲁棒性和可靠性的自动驾驶控制效果。

    Jan, 2023

  • 信息论模型预测 Q 学习

    本研究提出了一种基于信息理论模型预测控制和熵正则化强化学习的 Q 学习算法，可以利用有偏模型，并在模拟控制任务中验证了该算法的有效性。

    Dec, 2019

  • 在线学习方法的模型预测控制

    本文提出了一种基于动态镜像下降 (DMD) 的模型预测控制 (MPC) 算法 (DMD-MPC)，该算法结合了在线学习算法的思想，是一种通用的 MPC 算法，并在实验中展示了其适用性。

    Feb, 2019

  • 结合模型预测控制和预测强化学习实现稳定的四足机器人行走

    本文研究了基于模型预测控制和强化学习控制器相结合的四足机器人稳定步态生成问题，并开发了一种融合了这两种方法的混合控制方法，其中采用一个以神经网络建模的 Q 函数形式的尾部成本算法来降低计算复杂度，并证明了我们的控制器在短时间内能够实现稳定步态，具有实时操作的能力。

    Jul, 2023

  • 在线稳定强化学习框架

    本篇论文介绍了一种将在线增强学习与经典控制的元素（基于 Lyapunov 稳定性理论）进行结合的方法，可在不进行长期预训练的情况下为移动机器人提供稳定的控制能力，并通过实验研究证明了该方法的有效性。

    Jul, 2022

  • 自监督表示学习的模型预测控制

    使用重建函数的 TD-MPC 框架结合模型自由与模型基础学习方法，提高样本效率，改进控制任务的性能。

    Apr, 2023

  • 决策与控制中的适应性和通用化优化引擎：一种元强化学习方法

    基于采样的模型预测控制已经在具有非光滑系统动力学和成本函数的最优控制问题中取得了重大的成功，我们提议通过元强化学习学习一个优化器来更新控制器，该优化器不需要专家演示，并且在未知控制任务中可以实现快速适应。

    Jan, 2024

  • 深度模型预测优化

    机器人学中的一个主要挑战是设计出能在现实世界中实现复杂和灵活行为的稳健策略。我们提出了一种名为 “Deep Model Predictive Optimization” 的方法，通过经验直接学习 MPC 优化算法的内环，针对控制问题的需求进行特定优化。通过在一个真实的四旋翼平衡轨迹跟踪任务中的评估，DMPO 在计算预算下提高了性能，并且比基线的 MPC 算法在样本数量和端到端策略训练（MFRL）方面分别提高了 27% 和 19%。此外，由于 DMPO 需要更少的样本，它还可以以 4.3 倍的内存减少实现这些效益。当我们将四旋翼暴露在带有阻力板的扰动风场中时，DMPO 能够零 - shot 调适，同时仍然优于所有基线测试结果。

    Oct, 2023

  • 交替离线模型训练和策略学习的统一框架

    本文提出了一种迭代离线模型学习 (MBRL) 框架，其中通过交替进行动态模型训练和策略学习来最大化真实预期回报的下限，从而解决了动态模型和策略学习之间的目标不匹配问题，从而在广泛的连续控制离线强化学习数据集上实现了竞争性能。

    Oct, 2022