Feb, 2024

RealDex：面向机器人灵巧机械手的人类化抓握技术

PDF
TL;DR在这篇论文中，我们介绍了 RealDex—— 一个捕捉了真实灵巧手部抓握动作的先驱数据集，其中融入了人类行为模式，丰富了多视角和多模态的视觉数据。使用远程操作系统，我们实时无缝地同步人 - 机器手的姿态。这个类似人类运动的集合对于训练灵巧手更自然、更准确地模仿人类动作至关重要。RealDex 在推动人形机器人在现实世界场景中的自动感知、认知和操作方面具有巨大潜力。此外，我们介绍了一种先进的灵巧抓握动作生成框架，通过有效利用多模态的大型语言模型与人类经验相吻合，增强了其在现实世界的应用能力。大量实验证明了我们的方法在 RealDex 和其他公开数据集上的出色性能。完整的数据集和代码将在本文发表后提供。
发现论文，激发创造
  • GenDexGrasp: 通用型灵巧抓取

    提出了一种基于多型机械手的手无偏见抓取算法 GenDexGrasp，该算法利用接触映射作为机械手无偏见中间表示，采用力闭合优化综合生成了大规模的多手抓取数据集 MultiDex。与先前的方法相比，GenDexGrasp 在成功率、推断速度和多样性之间实现了三重平衡。

    Oct, 2022

  • DexGraspNet：基于仿真的通用物体大规模机器人熟练握取数据集

    本文介绍了一个大规模机器人灵巧抓取数据集 DexGraspNet，由于我们提出的高效合成方法生成，可以普遍应用于任何灵巧的机械手。结果显示我们的数据集比以前的具有更多物体和抓取、更高的多样性和质量，并通过多个算法在本数据集上进行的训练，大幅提高了机器人灵巧抓取的准确性。

    Oct, 2022

  • DexVIP: 从视频中学习具有人类手势先验知识的灵巧抓取

    本文提出了 DexVIP，一种从人 - 物体交互中学习灵巧机器人抓取的方法，并在 30 自由度的模拟机器人手上进行了 27 个物体的实验，证明 DexVIP 比现有方法快速且更具效率。

    Feb, 2022

  • Holo-Dex: 用沉浸式混合现实教授灵巧技能

    通过 Holo-Dex 框架，在虚拟现实环境中为机器人提供高保真的手部位姿估计信息，并使用功能学习和非参数模仿算法结合进行培训，以实现教学普适性的提高。

    Oct, 2022

  • MyoDex: 灵巧操作的可推广先验

    利用多任务学习模型和行为先验，研究人类灵巧性和机器人物理控制在各种接触丰富的行为中的学习和操作能力。

    Sep, 2023

  • DexMV：从人类视频中进行巧手操作的模仿学习

    本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

    Aug, 2021

  • DexCap：灵巧操控运动捕捉数据采集系统的可伸缩和可移植性

    通过 DexCap 便携式手部动作捕捉系统和 DexIL 创新的模仿算法，实现从人类手部动作数据中直接训练机器人掌握人类类似的灵巧操作技能，并通过 6 个巧妙操作任务的广泛评估，证明了该方法在性能和对野外动作数据的学习效果上的优越性，为灵巧操作的未来数据收集方法铺平了道路。

    Mar, 2024

  • DexArt：对具有关节的对象进行通用的熟练操纵的基准测试

    为了实现通用的机器人，我们需要使机器人像人类一样操作日常关节物体。本论文提出了一种新的基准测试 DexArt，并研究了具有关节物体的熟练操作的通用性。我们使用强化学习和三维表示学习来实现泛化，通过广泛的研究，提供了 3D 表示学习如何影响决策制定的新见解。

    May, 2023

  • H-InDex: 手动信息增强在熟练操纵中的视觉强化学习

    我们提出了一种基于人手的视觉表征学习框架，用于解决复杂的巧妙操作任务，并通过强化学习的方式进行训练。

    Oct, 2023

  • 从互联网视频中学习手眼协调技能

    利用网络视频的人类手部动作行为作为真实世界经验来指导机器人任务，使用人类视频数据集的视觉、动作、物理规律作为机器人行为的先验知识的学习算法 VideoDex，在机器人手臂和灵巧的基于手的系统上进行测试，并在各种操作任务上显示出强大的结果。

    Dec, 2022