OmniH2O 是一种基于学习的全身人形机器人远程操作和自主系统，通过运用运动姿势作为通用控制接口，人类可以通过虚拟现实头显实时远程操作、口头指令和 RGB 相机等方式，实现对具有灵巧手的全尺寸人形机器人的控制。通过从远程操作的示范或与 GPT-4 等尖端模型的集成中进行学习，OmniH2O 还可以实现全自主操作。OmniH2O 在通过远程操作或自主操作执行多种真实世界的全身任务方面展现出灵活性和灵巧性，如进行多种运动、移动和操纵物体以及与人类互动。我们开发了基于强化学习的仿真到实际的管道，包括对人类动作数据集进行大规模重新定向和增强，通过模仿特权教师策略来学习具备实际部署能力的策略，并设计奖励机制以增强鲁棒性和稳定性。我们发布了第一个全身人形控制数据集 OmniH2O-6，其中包含六个日常任务，并展示了从远程操作数据集中学习人形全身技能。

Jun, 2024

通过使用模拟训练和自我影子技术，本文介绍了一个全栈系统，使得机器人能够通过人类数据学习运动和自主技能。

Jun, 2024

我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法，通过在一个人型机器人上学习一个整体控制策略，尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略，但是直接使用动作捕捉数据集进行模仿学习可能无法适用于真实的人形机器人，因为在自由度和物理能力方面存在巨大差距。我们的方法（Exbody）通过鼓励上半身模仿参考动作，而放松对其两条腿的模仿约束，只要求它们能够稳定地跟随给定速度来解决这个问题。通过在模拟和实际场景中进行训练和仿真转移，我们的策略可以控制一个人形机器人以不同的风格行走，与人类握手，甚至与人类共舞。我们进行了广泛的研究和比较，展示了我们方法的有效性。

Feb, 2024

本研究提出了第一个适用于基于视觉的人机递送控制策略学习的框架，使用带动态仿真环境的两阶段教师 - 学生框架，该框架使用运动规划、抓握规划、强化学习和自我监督等方法，可以在模拟实验基准测试、模拟到模拟的转换和模拟到真实的转换中显著提高性能，同时该研究也为解决仿真人类问题提供了新的思路。

Mar, 2023

基于强化学习的高度数据驱动方法用于视觉全身人形控制，通过层级世界模型生成指令以执行，实现了在模拟 56 自由度人形机器人的 8 个任务上高性能控制策略的合成。

May, 2024

为了加快人形机器人算法研究的进展，我们提出了一个基于高维度的模拟机器人学习基准，名为 HumanoidBench，该基准以配备熟练双手和各种具有挑战性的全身操作和运动任务的人形机器人为特色。我们的研究发现，当配备稳健的低级策略（如行走或伸手）时，最先进的强化学习算法在大多数任务中表现不佳，而分层学习基准则实现了优越的性能。通过 HumanoidBench，我们为机器人学界提供了一个平台，用于解决人形机器人在解决各种任务时所面临的挑战，促进算法和思想的快速验证。开源代码可在此网址获得：https://url

Mar, 2024

通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

Feb, 2022

通过引入适合训练机器人的合成数据，我们提出了一个能够生成逼真人类抓取动作的框架，通过对合成数据的纯训练，证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美，并且能够扩展到更多未知物体和人类动作的大规模评估。

Nov, 2023

我们提出了一种名为在线全身动作反应合成的新任务，该任务是基于人类行为者的动作生成机器人反应。我们构建了两个数据集，分别命名为 HHI 和 CoChair，并提出了一种统一的方法，通过构建社交能力表示，预测反应的未来情景，并验证了在现有人类互动数据集 Interhuman 和 Chi3D 上的有效性。

Dec, 2023

早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。

Jan, 2024