Feb, 2024

CyberDemo：增强的模拟人类演示 用于现实世界巧妙操作

PDF
TL;DR我们介绍了 CyberDemo，这是一种新颖的机器人模仿学习方法，利用模拟人类示范来完成真实世界的任务。通过在模拟环境中进行大量数据增强，CyberDemo 在实际应用中胜过了传统的同领域真实世界示范，在处理多样的物理和视觉条件方面表现出色。尽管 CyberDemo 在数据收集方面更加经济和方便，但在各种任务中，它的成功率超过了基准方法，并且具有对之前未见过的物体的泛化能力。例如，它可以旋转新颖的四边阀和五边阀，尽管人类示范只涉及三边阀。我们的研究展示了模拟人类示范在实际灵巧操作任务中的巨大潜力。更多细节可在此 https URL 中找到。
robotic imitation learningsimulated human demonstrationsreal-world tasksdata augmentationgeneralizability
发现论文，激发创造
  • DexMV：从人类视频中进行巧手操作的模仿学习

    本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

    Aug, 2021

  • 从人类示范中学习软体机器手的熟练操作

    本文介绍了一种基于物体为中心示范实现的，用于训练软机械手进行熟练操作的方法，该方法使用增强学习技术，提出了一种新的算法，允许我们混合和选择最可行的示范来学习在硬件上模仿。最后，我们将这种方法应用于 RBO Hand 2 上，并获得了开 / 关阀门，滑珠和抓取等任务的良好表现。

    Mar, 2016

  • 评估修正演示和低成本传感器对敏捷操作的有效性

    本研究探讨了在机器人手动操作中的导向策略中，使用校正演示和随机附加演示的不同影响，结果表明纠正性表现显著优于随机性表现，特别是在使用成本低廉的可见传感器的情况下提供演示的情况下。

    Apr, 2022

  • 人－机联合学习的高效机器人操作技能获取

    通过使用一个新型的人机协作系统，允许人类操作员与机器人共同控制机器人末端执行器，从而实现了同时进行人类示范收集和机器人操作教学，以提高数据收集效率和降低人类适应性需求。

    Jun, 2024

  • 基于 GPU 仿真和高质量演示的交互式人类样学习加速

    利用 GPU 模拟技术和模仿学习指导策略搜索以使强化学习培训可在高维机器人手表现复杂控制问题的领域中成为可能，最终演示了并行强化学习和模仿学习的互补优势和优秀的验证结果。

    Dec, 2022

  • DeXtreme: 从模拟到现实的敏捷手持操作转移

    本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

    Oct, 2022

  • MimicGen：一个用于可扩展机器人学习的数据生成系统，利用人类演示

    利用少量人类示范，通过适应它们到新场景的方式，自动合成大规模且丰富的数据集，使机器人代理能够在长期视野和高精度任务中通过模仿学习取得良好的性能，比收集额外的人类示范更有效且经济。

    Oct, 2023

  • 从互联网视频中学习手眼协调技能

    利用网络视频的人类手部动作行为作为真实世界经验来指导机器人任务，使用人类视频数据集的视觉、动作、物理规律作为机器人行为的先验知识的学习算法 VideoDex，在机器人手臂和灵巧的基于手的系统上进行测试，并在各种操作任务上显示出强大的结果。

    Dec, 2022

  • Dexterous Imitation Made Easy: 一种基于学习的框架用于高效的器械操作

    提出了一种新的基于模仿学习的框架（DIME），借助单个 RGB 相机观察人类运营，并在多指控制策略上进行了培训，以解决机械手复杂操纵任务的挑战。

    Mar, 2022

  • DexDeform: 通过人类演示和可微分物理实现灵巧的可变形物体操作

    本文提出了 DexDeform，这是一种从人类示范中抽象出熟练操作技能并通过可微分物理学进行改进的原则性框架，该框架旨在学习多指手指对可变形物体的熟练操作，并通过新颖的探索策略以及基于想象的行动计划来提高操作的成功率。

    Mar, 2023