学习低频运动控制，实现鲁棒和动态机器人运动

Sep, 2022

学习低频运动控制，实现鲁棒和动态机器人运动

Learning Low-Frequency Motion Control for Robust and Dynamic Robot Locomotion

Siddhant Gangapurwala, Luigi Campanaro, Ioannis Havoutis

TL;DR通过在真实机器人 ANYmal C 上执行 8-200Hz 的深度强化学习基于动作控制策略，我们展示了使用低频控制某种程度上可以实现比高频控制更加鲁棒和动态的机器人运动，这在不考虑动力学随机化或作用建模的情况下即可成功进行模拟到实物的转移。

Abstract

Robotic locomotion is often approached with the goal of maximizing robustness and reactivity by increasing motion control frequency. We challenge this intuitive notion by demonstrating robust and dynamic locomotion with a learned motion controller executing at as low as 8 Hz on a real ANYmal C quadruped. The robot is able to robustly and repeatably achieve a

robust locomotion learned motion controller deep reinforcement learning low-frequency policies sim-to-real transfer

发现论文，激发创造

频率感知模型预测控制

通过提出基于频率的成本函数在轨迹优化中实现对于机器人模型误差的鲁棒性设计，从而增加运动规划的稳定性和兼容性。在通过模拟和硬件实验优化动作规划并在机器人 ANYmal 上进行实验后，成功地提高了机器人对于不确定环境和具有不同活动性的地形的适应性。

Sep, 2018

快速学习四足动物在复杂地形上的敏捷奔跑

使用无模型强化学习在仿真环境下训练的，基于镜像世界神经网络的四足机器人运动控制器具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。

Jul, 2022

互动强化学习中反馈频率对于机器人任务的影响量化

本文研究了交互反馈频率对强化学习在连续状态和动作空间的机器人任务中的影响，证明了随着机器人操作熟练度的提高应该改变反馈频率而不是坚持使用单一的最佳反馈频率。

Jul, 2022

四足机器人数据有效强化学习

本文提出了一种基于模型的机器人运动框架，在只采集 4.5 分钟（45,000 个控制步骤）的四足机器人数据的基础上实现了步行，通过引入跟踪多个时间步长上的模型预测的损失函数来准确地建模机器人的动力学，使学习到的模型可以进行实时控制，此方法比当前的无模型方法在样本效率上提高了一个数量级以上。

Jul, 2019

多频率离线强化学习

研究离线机器人数据的异构性，着重于不同控制频率下离线数据的学习，提出一种简单且有效的方法，通过对 Q 值更新速度的保持一致性平衡 Q 值传播，最终在三个模拟机器人控制问题中显著提高算法性能。

Jul, 2022

Sim-to-Real: 四足机器人学习敏捷运动

本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

Apr, 2018

四足机器人运动的扭矩控制学习

本研究探索了一种基于扭矩的强化学习框架，此模型成功验证了对于模型控制四足动物而言，相较于基于位置的强化学习方法，基于扭矩的强化学习方法能够产生更好的奖励和更强的抗干扰能力，并能够使四足动物在各种地形上移动，是关于四足机器人端到端学习扭矩控制的首次模拟到实际应用的尝试。

Mar, 2022

阻抗匹配：实现四足机器人基于 RL 的跳跃

通过频域分析为基础的阻抗匹配，我们提出了一个新的框架来缩小仿真和真实机器人之间的差距，从而在动态足部运动中实现仿生动作。

Apr, 2024

多功能、动态和鲁棒的双足步行运动控制的强化学习

使用深度强化学习（RL）创建动态双足机器人的运动控制器的综合研究，包括开发可用于周期性行走、跑步、跳跃和站立等一系列动态双足技能的通用控制解决方案，该 RL 控制器采用新颖的双重历史架构，通过长期和短期的输入 / 输出（I/O）历史数据有效训练，并在模拟和实际世界的各种技能中始终表现优秀。

Jan, 2024

继续学习的腿式机器人：在现实世界中微调运动策略

该论文提出了一种基于强化学习的实际机器人强化学习系统，通过在现实世界中微调机器人运动策略的少量训练，实现了 A1 四足机器人在多种环境中自主微调多种运动技能的能力。

Oct, 2021