快速学习四足动物在复杂地形上的敏捷奔跑

Jul, 2022

快速学习四足动物在复杂地形上的敏捷奔跑

Learning fast and agile quadrupedal locomotion over complex terrain

Xu Chang, Zhitong Zhang, Honglei An, Hongxu Ma, Qing Wei

TL;DR使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

Abstract

In this paper, we propose a robust controller that achieves natural and stably fast locomotion on a real blind quadruped robot. With only proprioceptive information, the quadruped robot can move at a maximum speed of 10 times its body length, and has the ability to pass through various complex terrains. The controller is trained in the simulation environment

robot locomotion model-free reinforcement learning mirror-world neural network anti-disturbance ability natural locomotion

发现论文，激发创造

学习四足动物在复杂地形上的步态

本研究基于神经网络的方法实现对四足动物的运动控制，采用自主提供的本体感觉信息，具有很强的普适性和鲁棒性，在模拟和自然环境中都有良好的表现，并在本次试验中优于以往的四足动物机器人，对未来的机器人研究具有大量的实践价值。

Oct, 2020

Sim-to-Real: 四足机器人学习敏捷运动

本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

Apr, 2018

使用跨模态转换器端到端学习视觉引导下的四足机器人运动

我们提出了一种使用基于 Transformer 的模型从配 proprioceptive 信息和高维度深度传感器输入中学习的强化学习（RL）来解决四足动物行走任务的方法。

Jul, 2021

通过操纵学习行走：在动态环境中的感知四足动力学

本文介绍了一个名为 PRELUDE 的层级学习框架，其中包括高层决策和低层步态生成。在该框架中，高层导航控制器用人类演示进行了模仿学习，而低层步态控制器则使用强化学习获得多样化的步态。该方法在仿真和硬件实验中表现出色。

Sep, 2022

为实现稳健高效的腿式运动而学习接触自适应控制器

本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。

Sep, 2020

用深度强化学习控制 Solo12 四足机器人

在本论文中，我们首次实现了基于深度强化学习的韧性端到端控制器在 Solo12 四足机器人上的应用，通过学习关节阻抗参考值来实现。我们详细介绍了学习过程和在真实机器人上的迁移方法。在实验中，我们展示了 Solo12 机器人作为一个开放源码平台在学习与控制相结合的研究中的适用性，因为学习到的控制器易于迁移和部署。

Aug, 2023

四足机器人运动的扭矩控制学习

本研究探索了一种基于扭矩的强化学习框架，此模型成功验证了对于模型控制四足动物而言，相较于基于位置的强化学习方法，基于扭矩的强化学习方法能够产生更好的奖励和更强的抗干扰能力，并能够使四足动物在各种地形上移动，是关于四足机器人端到端学习扭矩控制的首次模拟到实际应用的尝试。

Mar, 2022

基于强化学习的敏捷多功能双足机器人跟踪控制

基于模型基础的逆运动学求解器和强化学习，本文提出一种适用于双足机器人的多功能控制器，通过单一小型神经网络实现了踝关节和身体轨迹跟踪，能够在广泛的步态范围内完成这一任务。通过最小控制单元结合高级策略，可以实现高度灵活的步态控制，训练后的机器人能够自由地在不同距离和高度的目标支撑点之间移动，并且能够在维持静态平衡时调整姿势。实验结果证明了我们控制框架的有效性。

Apr, 2024

野外 AMP：学习强健、敏捷、自然的腿部运动技能

本文提出了一种新的算法，可以推断关于动态系统参数的信息，同时从先前的观察中估计有关机器人状态的重要信息，并将其与 Adversarial Motion Priors 结合，实现了机器人在真实世界中稳定、灵活和自然的步态，从实验结果中发现相对于基线算法，我们提出的算法能够以更低的功耗遍历具有挑战性的地形。

Apr, 2023

重新思考鲁棒性评估：基于学习的四足动力学控制器的对抗攻击

通过串行对抗攻击来识别学习行动控制器的弱点，验证了即使是最先进的鲁棒控制器也可能在设计良好、低幅度的对抗序列下显著失败，并展示了该方法生成的结果如何用于加强原始策略并深入了解这些黑盒策略的安全性。

May, 2024