Jun, 2024

OmniH2O：通用灵巧的人与机器人全身遥操作与学习

PDF
TL;DROmniH2O 是一种基于学习的全身人形机器人远程操作和自主系统，通过运用运动姿势作为通用控制接口，人类可以通过虚拟现实头显实时远程操作、口头指令和 RGB 相机等方式，实现对具有灵巧手的全尺寸人形机器人的控制。通过从远程操作的示范或与 GPT-4 等尖端模型的集成中进行学习，OmniH2O 还可以实现全自主操作。OmniH2O 在通过远程操作或自主操作执行多种真实世界的全身任务方面展现出灵活性和灵巧性，如进行多种运动、移动和操纵物体以及与人类互动。我们开发了基于强化学习的仿真到实际的管道，包括对人类动作数据集进行大规模重新定向和增强，通过模仿特权教师策略来学习具备实际部署能力的策略，并设计奖励机制以增强鲁棒性和稳定性。我们发布了第一个全身人形控制数据集 OmniH2O-6，其中包含六个日常任务，并展示了从远程操作数据集中学习人形全身技能。
omnih2ohumanoid teleoperationautonomywhole-body tasksrl-based sim-to-real pipeline
发现论文，激发创造
  • 学习人对人形机器人的实时全身遥操作

    我们提出了基于强化学习的人到仿真向人型机器人 (人到人型机器人，H2O) 的框架，通过仅使用一个 RGB 摄像机实现了全尺寸人型机器人的实时全身遥操作。我们使用可行运动模拟器提出了一个可扩展的 “仿真到数据” 过程，以创建用于人型机器人的大规模运动数据集，并在仿真中训练一个稳健的全身运动模拟器，然后以零样本的方式将其转移到实际人型机器人上，实现了在真实场景中的动态全身动作遥操作，包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知，这是实现基于学习的实时全身人型机器人遥操作的第一个演示。

    Mar, 2024

  • Holo-Dex: 用沉浸式混合现实教授灵巧技能

    通过 Holo-Dex 框架，在虚拟现实环境中为机器人提供高保真的手部位姿估计信息，并使用功能学习和非参数模仿算法结合进行培训，以实现教学普适性的提高。

    Oct, 2022

  • 人－机联合学习的高效机器人操作技能获取

    通过使用一个新型的人机协作系统，允许人类操作员与机器人共同控制机器人末端执行器，从而实现了同时进行人类示范收集和机器人操作教学，以提高数据收集效率和降低人类适应性需求。

    Jun, 2024

  • HumanPlus: 人形机器人的人体投射与模仿

    通过使用模拟训练和自我影子技术，本文介绍了一个全栈系统，使得机器人能够通过人类数据学习运动和自主技能。

    Jun, 2024

  • H2O: 第一人称交互识别中的双手物体操作

    该研究提出了一个用于视角内交互识别的综合框架，利用无标记的三维手部操作物体注释，并提出一种用于创建统一数据集的方法，该数据集支持对双手和物体操作姿态的预测，并展现出在该领域的一系列前所未有的细节实现。

    Apr, 2021

  • HumanoidBench: 模拟人型机器人全身运动与操作基准测试

    为了加快人形机器人算法研究的进展，我们提出了一个基于高维度的模拟机器人学习基准，名为 HumanoidBench，该基准以配备熟练双手和各种具有挑战性的全身操作和运动任务的人形机器人为特色。我们的研究发现，当配备稳健的低级策略（如行走或伸手）时，最先进的强化学习算法在大多数任务中表现不佳，而分层学习基准则实现了优越的性能。通过 HumanoidBench，我们为机器人学界提供了一个平台，用于解决人形机器人在解决各种任务时所面临的挑战，促进算法和思想的快速验证。开源代码可在此网址获得：https://url

    Mar, 2024

  • 人形机器人的表达性全身控制

    我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法，通过在一个人型机器人上学习一个整体控制策略，尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略，但是直接使用动作捕捉数据集进行模仿学习可能无法适用于真实的人形机器人，因为在自由度和物理能力方面存在巨大差距。我们的方法（Exbody）通过鼓励上半身模仿参考动作，而放松对其两条腿的模仿约束，只要求它们能够稳定地跟随给定速度来解决这个问题。通过在模拟和实际场景中进行训练和仿真转移，我们的策略可以控制一个人形机器人以不同的风格行走，与人类握手，甚至与人类共舞。我们进行了广泛的研究和比较，展示了我们方法的有效性。

    Feb, 2024

  • 机器人心灵感应：通过观看 YouTube 上的人类学习机器人手模仿器

    通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

    Feb, 2022

  • 分层世界模型作为视觉全身人形控制器

    基于强化学习的高度数据驱动方法用于视觉全身人形控制，通过层级世界模型生成指令以执行，实现了在模拟 56 自由度人形机器人的 8 个任务上高性能控制策略的合成。

    May, 2024

  • 基于视觉的灵巧机械手臂系统远程操作

    本研究设计了一个低成本的基于视觉的遥操作系统 DexPilot，透过观察裸露的人手简单操作即可完全控制拥有 23 个 DoA 的机器人系统，能够执行各种复杂的操作，收集高维度、多模态的状态 - 行动数据，为未来学习挑战性操作任务的感觉运动策略奠定基础。

    Oct, 2019