Jul, 2023

结合模型预测控制和预测强化学习实现稳定的四足机器人行走

PDF
TL;DR本文研究了基于模型预测控制和强化学习控制器相结合的四足机器人稳定步态生成问题，并开发了一种融合了这两种方法的混合控制方法，其中采用一个以神经网络建模的 Q 函数形式的尾部成本算法来降低计算复杂度，并证明了我们的控制器在短时间内能够实现稳定步态，具有实时操作的能力。
发现论文，激发创造
  • 基于概率模型预测控制的高效数据强化学习

    本文提出了基于概率模型预测控制（MPC）的基于模型的 RL 框架，以减少与环境的相互作用次数的方法。该方法使用高斯过程学习概率转换模型来减少模型误差的影响，同时使用 MPC 找到最小化预期长期成本的控制序列，以达到在受限环境下使用 RL 的目的。

    Jun, 2017

  • 使用鲁棒性模型预测控制的安全强化学习

    本文提出了一种将强化学习与模型预测控制相结合的方法，以充分利用两者的优势，并获得既具有最优性又安全的控制器。在模拟中，我们通过数值实验证明了该方法的有效性。

    Jun, 2019

  • 强化学习和基于模型的控制结合：使用按需最优控制学习多功能四足动态步态

    本文提出了一种结合基于模型的最优控制与强化学习的动态、鲁棒的腿式 locomotion 的多功能控制方法；该方法成功地学习了控制策略，能够在模拟和硬件实验中生成不同的四足步态模式并保持稳定，并演示了该方法对于不太平的地形的适应性，无需过多的奖励设计或超参数调整。

    May, 2023

  • 四足机器人的敏捷机动：一种预测控制方法

    本文提出了一种混合预测控制器，使用触觉信息和全身动力学来局部预测机器人的未来动作，实现了机器人快速生成灵活的运动。通过跟踪反馈策略，该预测控制器能够在没有使用单独的全身控制器的情况下执行低级扭矩控制。

    Mar, 2022

  • 基于 MPC 引导的策略搜索学习自主飞行器深度控制策略

    模型预测控制与强化学习相结合并在引导策略搜索框架下应用，通过使用机载传感器数据在训练时间内训练神经网络策略，该策略可成功地控制四旋翼飞行器的避障而无需系统完整状态知识。

    Sep, 2015

  • 将循环强化学习纳入模型预测控制中，以实现自主驾驶中的自适应控制

    通过解决 MPC 控制器在现实场景下系统识别学习失败的问题，将其转化为部分观察马尔科夫决策过程，通过循环强化学习不断地适应动态模型参数，该论文提出了一种自适应控制算法 (MPC-RRL)，最终在 CARLA 模拟器中得出了具有鲁棒性和可靠性的自动驾驶控制效果。

    Jan, 2023

  • 四足行走安全强化学习

    本文提出了一种安全的强化学习框架，用于设计控制策略，以确保腿部运动的安全，同时利用无模型的强化学习进行学习任务。在此框架基础上，本文进行了四项步态运动实验，并实现了显著的提升，包括节能、稳定性和动作变化。

    Mar, 2022

  • 通过相位引导控制器学习四足机器人的自由步态转换

    本文提出了学习控制犬形四足机器人在各种步态下运动的框架，并通过强化学习算法解决了多任务学习的问题。使用四个独立的相位来描述步态发生器和控制策略之间的接口，使用该控制策略，黑豹四足机器人可以在自然环境下流畅、稳健地学习所有运动技能并遵循速度命令进行运动。

    Jan, 2022

  • 基于动态规划的模型预测控制和强化学习的统一框架

    本文描述了一个将近似动态规划 (DP)、模型预测控制 (MPC) 和强化学习 (RL) 连接起来的新概念框架，其中通过牛顿法的强大机制，离线训练和在线应用算法相互独立地设计，协同运作。这一理论架构为强化学习和模型预测控制之间的文化差距提供了桥梁，并对模型预测控制中的一些基本问题提供了新的见解。

    Jun, 2024

  • 四足机器人数据有效强化学习

    本文提出了一种基于模型的机器人运动框架，在只采集 4.5 分钟（45,000 个控制步骤）的四足机器人数据的基础上实现了步行，通过引入跟踪多个时间步长上的模型预测的损失函数来准确地建模机器人的动力学，使学习到的模型可以进行实时控制，此方法比当前的无模型方法在样本效率上提高了一个数量级以上。

    Jul, 2019