人形机器人的表达性全身控制

Feb, 2024

Expressive Whole-Body Control for Humanoid Robots

Xuxin Cheng, Yandong Ji, Junming Chen, Ruihan Yang, Ge Yang...

TL;DR我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法，通过在一个人型机器人上学习一个整体控制策略，尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略，但是直接使用动作捕捉数据集进行模仿学习可能无法适用于真实的人形机器人，因为在自由度和物理能力方面存在巨大差距。我们的方法（Exbody）通过鼓励上半身模仿参考动作，而放松对其两条腿的模仿约束，只要求它们能够稳定地跟随给定速度来解决这个问题。通过在模拟和实际场景中进行训练和仿真转移，我们的策略可以控制一个人形机器人以不同的风格行走，与人类握手，甚至与人类共舞。我们进行了广泛的研究和比较，展示了我们方法的有效性。

Abstract

Can we enable humanoid robots to generate rich, diverse, and expressive motions in the real world? We propose to learn a whole-body control policy on a human-sized robot to mimic human motions as realistic as possible. To train such a policy, we leverage the large-scale human

humanoid robot whole-body control motion capture data imitation learning sim2real transfer

发现论文，激发创造

HumanPlus: 人形机器人的人体投射与模仿

通过使用模拟训练和自我影子技术，本文介绍了一个全栈系统，使得机器人能够通过人类数据学习运动和自主技能。

Jun, 2024

通过对抗性模仿从动作捕捉学习人类行为

本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

Jul, 2017

学习人对人形机器人的实时全身遥操作

我们提出了基于强化学习的人到仿真向人型机器人 (人到人型机器人，H2O) 的框架，通过仅使用一个 RGB 摄像机实现了全尺寸人型机器人的实时全身遥操作。我们使用可行运动模拟器提出了一个可扩展的 “仿真到数据” 过程，以创建用于人型机器人的大规模运动数据集，并在仿真中训练一个稳健的全身运动模拟器，然后以零样本的方式将其转移到实际人型机器人上，实现了在真实场景中的动态全身动作遥操作，包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知，这是实现基于学习的实时全身人型机器人遥操作的第一个演示。

Mar, 2024

深度全身控制：学习一体化的操作和运动策略

提出使用增强学习学习整体控制策略来实现对四肢机器人的控制，以解决四肢协调和模块间错误传播的问题，该统一策略可在多种任务设置中展示动态和敏捷行为。

Oct, 2022

I-CTRL：基于约束强化学习的仿真控制人形机器人

本文介绍了一种通过有约束的强化学习算法实现对双足机器人进行基于物理的高质量动作模仿的框架，强调将视觉和物理现实性相结合对于成功实现动作模仿的重要性。

May, 2024

分层世界模型作为视觉全身人形控制器

基于强化学习的高度数据驱动方法用于视觉全身人形控制，通过层级世界模型生成指令以执行，实现了在模拟 56 自由度人形机器人的 8 个任务上高性能控制策略的合成。

May, 2024

基于物理控制的通用人形动作表示

我们提出了一种通用的运动表示方法，该方法涵盖了针对基于物理的人形控制的全面的运动技能范围。