我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法，通过在一个人型机器人上学习一个整体控制策略，尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略，但是直接使用动作捕捉数据集进行模仿学习可能无法适用于真实的人形机器人，因为在自由度和物理能力方面存在巨大差距。我们的方法（Exbody）通过鼓励上半身模仿参考动作，而放松对其两条腿的模仿约束，只要求它们能够稳定地跟随给定速度来解决这个问题。通过在模拟和实际场景中进行训练和仿真转移，我们的策略可以控制一个人形机器人以不同的风格行走，与人类握手，甚至与人类共舞。我们进行了广泛的研究和比较，展示了我们方法的有效性。

Feb, 2024

我们提出了基于强化学习的人到仿真向人型机器人 (人到人型机器人，H2O) 的框架，通过仅使用一个 RGB 摄像机实现了全尺寸人型机器人的实时全身遥操作。我们使用可行运动模拟器提出了一个可扩展的 “仿真到数据” 过程，以创建用于人型机器人的大规模运动数据集，并在仿真中训练一个稳健的全身运动模拟器，然后以零样本的方式将其转移到实际人型机器人上，实现了在真实场景中的动态全身动作遥操作，包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知，这是实现基于学习的实时全身人型机器人遥操作的第一个演示。

Mar, 2024

为了加快人形机器人算法研究的进展，我们提出了一个基于高维度的模拟机器人学习基准，名为 HumanoidBench，该基准以配备熟练双手和各种具有挑战性的全身操作和运动任务的人形机器人为特色。我们的研究发现，当配备稳健的低级策略（如行走或伸手）时，最先进的强化学习算法在大多数任务中表现不佳，而分层学习基准则实现了优越的性能。通过 HumanoidBench，我们为机器人学界提供了一个平台，用于解决人形机器人在解决各种任务时所面临的挑战，促进算法和思想的快速验证。开源代码可在此网址获得：https://url

Mar, 2024

本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

Jul, 2017

通过模仿学习，我们能够快速理解一个新任务，通过演示，我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法，解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息，并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成：扩散式动作分割模型用于抽象演示的时间信息，以及开放词汇对象检测器用于空间信息。此外，我们通过符号推理来改进抽象的信息，并利用逆向运动学创建行动计划，以使机器人能够模仿演示的动作。

Jan, 2024

通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

Feb, 2022

本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法，使机器人能够学习从人类示范中执行任务，无需对人类动作进行特定设计，并且在多种任务上演示了机器人实现的能力。

Feb, 2018

本研究提出了第一个适用于基于视觉的人机递送控制策略学习的框架，使用带动态仿真环境的两阶段教师 - 学生框架，该框架使用运动规划、抓握规划、强化学习和自我监督等方法，可以在模拟实验基准测试、模拟到模拟的转换和模拟到真实的转换中显著提高性能，同时该研究也为解决仿真人类问题提供了新的思路。

Mar, 2023

本文研究使用人类和动物运动的先验知识来学习现实机器人的可重复使用的运动技能，并且实现了能够在实际机器人上部署的任务导向控制器。

Mar, 2022

在人形机器人中，我们引入了一种新的传播模型，该模型旨在使机器人直接从第三人称演示中学习。我们的模型能够通过转换两个视角之间的物体大小和旋转以及环境来学习和生成第一人称视角，从而充分利用易于产生的第三人称演示和易于模仿的第一人称演示的优势。该模型可以表示第一人称视角的 RGB 图像或计算关节值。在这项任务中，我们的方法明显优于其他图像到图像模型。

Apr, 2024