May, 2023

强化学习和基于模型的控制结合：使用按需最优控制学习多功能四足动态步态

PDF
TL;DR本文提出了一种结合基于模型的最优控制与强化学习的动态、鲁棒的腿式 locomotion 的多功能控制方法；该方法成功地学习了控制策略，能够在模拟和硬件实验中生成不同的四足步态模式并保持稳定，并演示了该方法对于不太平的地形的适应性，无需过多的奖励设计或超参数调整。
legged locomotionoptimal controlreinforcement learningstabilityadaptive locomotion
发现论文，激发创造
  • 多功能、动态和鲁棒的双足步行运动控制的强化学习

    使用深度强化学习（RL）创建动态双足机器人的运动控制器的综合研究，包括开发可用于周期性行走、跑步、跳跃和站立等一系列动态双足技能的通用控制解决方案，该 RL 控制器采用新颖的双重历史架构，通过长期和短期的输入 / 输出（I/O）历史数据有效训练，并在模拟和实际世界的各种技能中始终表现优秀。

    Jan, 2024

  • 为实现稳健高效的腿式运动而学习接触自适应控制器

    本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。

    Sep, 2020

  • 最小人力学习在现实世界中行走

    使用深度强化学习中的多任务学习技术和安全控制框架在实际机器人系统中实现了自动学习四条腿机器人在三种不同地形上的步态。

    Feb, 2020

  • 结合模型预测控制和预测强化学习实现稳定的四足机器人行走

    本文研究了基于模型预测控制和强化学习控制器相结合的四足机器人稳定步态生成问题，并开发了一种融合了这两种方法的混合控制方法，其中采用一个以神经网络建模的 Q 函数形式的尾部成本算法来降低计算复杂度，并证明了我们的控制器在短时间内能够实现稳定步态，具有实时操作的能力。

    Jul, 2023

  • 通过经验转移学习和适应敏捷运动技能

    这篇论文研究了如何用增强学习算法训练四肢机器人在复杂环境中实现高速奔跑、跳跃、走路到目的地等多种复杂技能，并且通过从已有的控制器中借鉴经验，解决了机器人探索新环境时的困难，实现了四肢机器人在现实环境中优雅且安全的部署。

    Apr, 2023

  • 学习用于腿式操纵的力控制

    我们提出了一种无需力传感器训练的强化学习策略来实现直接力控制，展示了在四足机器人整体控制平台上通过变化的整体柔顺度实现的重力补偿和阻抗控制，使得人类通过操纵器件即可直观地远程操作机器人，从而实现多样化的运动与操纵任务，为四足机器人提供了学习整体力控制的首次实际部署，为更具多功能和适应性的四足机器人铺平了道路。

    May, 2024

  • 学习四肢机器人灵活动态技能

    通过在仿真中训练神经网络策略并将其转移到现实的四足动态平衡系统，研究创造了一种快速、自动且高效的数据生成方案，从而实现了在四足机器人技能方面的进一步提升。

    Jan, 2019

  • 四足机器人数据有效强化学习

    本文提出了一种基于模型的机器人运动框架，在只采集 4.5 分钟（45,000 个控制步骤）的四足机器人数据的基础上实现了步行，通过引入跟踪多个时间步长上的模型预测的损失函数来准确地建模机器人的动力学，使学习到的模型可以进行实时控制，此方法比当前的无模型方法在样本效率上提高了一个数量级以上。

    Jul, 2019

  • 深度跟踪控制：用于多功能和鲁棒运动的基于模型规划和强化学习的统一方法

    通过结合在线规划的预测能力和离线学习的内在稳健性，我们提出了一个混合控制架构，以同时实现更高的稳健性、脚步精确度和地形泛化。

    Sep, 2023

  • 四足机器人运动的扭矩控制学习

    本研究探索了一种基于扭矩的强化学习框架，此模型成功验证了对于模型控制四足动物而言，相较于基于位置的强化学习方法，基于扭矩的强化学习方法能够产生更好的奖励和更强的抗干扰能力，并能够使四足动物在各种地形上移动，是关于四足机器人端到端学习扭矩控制的首次模拟到实际应用的尝试。

    Mar, 2022