四足机器人运动的扭矩控制学习

Mar, 2022

Learning Torque Control for Quadrupedal Locomotion

Shuxiao Chen, Bike Zhang, Mark W. Mueller, Akshara Rai, Koushil Sreenath

TL;DR本研究探索了一种基于扭矩的强化学习框架，此模型成功验证了对于模型控制四足动物而言，相较于基于位置的强化学习方法，基于扭矩的强化学习方法能够产生更好的奖励和更强的抗干扰能力，并能够使四足动物在各种地形上移动，是关于四足机器人端到端学习扭矩控制的首次模拟到实际应用的尝试。

Abstract

reinforcement learning (RL) has become a promising approach to developing controllers for quadrupedal robots. Conventionally, an RL design for locomotion follows a position-based paradigm, wherein an RL policy outputs target joint positions at a low frequency that are then tracked by a

reinforcement learning quadrupedal locomotion torque-based control model-based control sim-to-real

发现论文，激发创造

Sim-to-Real: 四足机器人学习敏捷运动

本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

Apr, 2018

基于扭矩的变高跳跃端到端强化学习

通过模拟到现实训练的方式，本研究提出了一种基于强化学习的力矩控制器，能够学习隐式检测相关跳跃阶段，并成功在机器人上进行实际部署。

Jul, 2023

快速学习四足动物在复杂地形上的敏捷奔跑

使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

Jul, 2022

学习用于腿式操纵的力控制

我们提出了一种无需力传感器训练的强化学习策略来实现直接力控制，展示了在四足机器人整体控制平台上通过变化的整体柔顺度实现的重力补偿和阻抗控制，使得人类通过操纵器件即可直观地远程操作机器人，从而实现多样化的运动与操纵任务，为四足机器人提供了学习整体力控制的首次实际部署，为更具多功能和适应性的四足机器人铺平了道路。

May, 2024

为实现稳健高效的腿式运动而学习接触自适应控制器

本研究提出了一个层次框架，将基于模型的控制和强化学习相结合，为四足动物（Unitree Laikago）合成鲁棒控制器。通过学习选择一套原语响应环境中的变化，使其适应复杂的环境变化，并具有更高的能源效率和更强的鲁棒性。

Sep, 2020

强化学习和基于模型的控制结合：使用按需最优控制学习多功能四足动态步态

本文提出了一种结合基于模型的最优控制与强化学习的动态、鲁棒的腿式 locomotion 的多功能控制方法；该方法成功地学习了控制策略，能够在模拟和硬件实验中生成不同的四足步态模式并保持稳定，并演示了该方法对于不太平的地形的适应性，无需过多的奖励设计或超参数调整。

May, 2023

结合模型预测控制和预测强化学习实现稳定的四足机器人行走

本文研究了基于模型预测控制和强化学习控制器相结合的四足机器人稳定步态生成问题，并开发了一种融合了这两种方法的混合控制方法，其中采用一个以神经网络建模的 Q 函数形式的尾部成本算法来降低计算复杂度，并证明了我们的控制器在短时间内能够实现稳定步态，具有实时操作的能力。

Jul, 2023

多功能、动态和鲁棒的双足步行运动控制的强化学习

使用深度强化学习（RL）创建动态双足机器人的运动控制器的综合研究，包括开发可用于周期性行走、跑步、跳跃和站立等一系列动态双足技能的通用控制解决方案，该 RL 控制器采用新颖的双重历史架构，通过长期和短期的输入 / 输出（I/O）历史数据有效训练，并在模拟和实际世界的各种技能中始终表现优秀。

Jan, 2024

用深度强化学习控制 Solo12 四足机器人

在本论文中，我们首次实现了基于深度强化学习的韧性端到端控制器在 Solo12 四足机器人上的应用，通过学习关节阻抗参考值来实现。我们详细介绍了学习过程和在真实机器人上的迁移方法。在实验中，我们展示了 Solo12 机器人作为一个开放源码平台在学习与控制相结合的研究中的适用性，因为学习到的控制器易于迁移和部署。

Aug, 2023

四足动物运动的分层强化学习

本文介绍一种利用层次化框架实现四足机器人路径跟踪任务的方法，其中高层策略以潜在空间向低层策略发出指令，并控制其执行的时间，低层策略使用潜在指令和机器人传感器来控制机器人的执行器，以完成任务需求，同时可以实现训练后的低层策略的高效迁移，为实现端到端的层次化深度学习提供了理论支持。

May, 2019