MyoDex: 灵巧操作的可推广先验
提出了一种基于多型机械手的手无偏见抓取算法 GenDexGrasp,该算法利用接触映射作为机械手无偏见中间表示,采用力闭合优化综合生成了大规模的多手抓取数据集 MultiDex。与先前的方法相比,GenDexGrasp 在成功率、推断速度和多样性之间实现了三重平衡。
Oct, 2022
在这篇论文中,我们介绍了 RealDex—— 一个捕捉了真实灵巧手部抓握动作的先驱数据集,其中融入了人类行为模式,丰富了多视角和多模态的视觉数据。使用远程操作系统,我们实时无缝地同步人 - 机器手的姿态。这个类似人类运动的集合对于训练灵巧手更自然、更准确地模仿人类动作至关重要。RealDex 在推动人形机器人在现实世界场景中的自动感知、认知和操作方面具有巨大潜力。此外,我们介绍了一种先进的灵巧抓握动作生成框架,通过有效利用多模态的大型语言模型与人类经验相吻合,增强了其在现实世界的应用能力。大量实验证明了我们的方法在 RealDex 和其他公开数据集上的出色性能。完整的数据集和代码将在本文发表后提供。
Feb, 2024
本文提出了 DexVIP,一种从人 - 物体交互中学习灵巧机器人抓取的方法,并在 30 自由度的模拟机器人手上进行了 27 个物体的实验,证明 DexVIP 比现有方法快速且更具效率。
Feb, 2022
利用网络视频的人类手部动作行为作为真实世界经验来指导机器人任务,使用人类视频数据集的视觉、动作、物理规律作为机器人行为的先验知识的学习算法 VideoDex,在机器人手臂和灵巧的基于手的系统上进行测试,并在各种操作任务上显示出强大的结果。
Dec, 2022
为了实现通用的机器人,我们需要使机器人像人类一样操作日常关节物体。本论文提出了一种新的基准测试 DexArt,并研究了具有关节物体的熟练操作的通用性。我们使用强化学习和三维表示学习来实现泛化,通过广泛的研究,提供了 3D 表示学习如何影响决策制定的新见解。
May, 2023
本文介绍了一种在线规划深度动力学模型的方法,通过这种方法,使用少量真实世界的数据即可进行柔性接触的灵巧操作技能的有效学习,并成功应用于 24 个自由度类人手上。
Sep, 2019
本文提出了 DexDeform,这是一种从人类示范中抽象出熟练操作技能并通过可微分物理学进行改进的原则性框架,该框架旨在学习多指手指对可变形物体的熟练操作,并通过新颖的探索策略以及基于想象的行动计划来提高操作的成功率。
Mar, 2023
使用直接的人类反馈通过视频来学习通用的人类先验,实现 20 种双手机器人操作任务中 RL 策略的高效调整,不需要进行人类演示,任务无关的奖励模型通过生成多样化策略并收集人类偏好进行训练。本方法在各种任务中表现出更接近人类行为的结果,甚至适用于未见过的任务,证明了其泛化能力。
Apr, 2023
本文提出了一种名为 DexMV(Dexterous Manipulation from Videos)的平台和管道,用于机器人的模仿学习,从而解决复杂的手部操作任务,包括计算机视觉、逆强化学习、多传感器模式等方面。
Aug, 2021
本研究提出了使用大规模演示学习熟练操作多指手来处理机器人学中最具挑战性的问题。 主要采用人类抓握可行性模型生成 3D 物体演示,以实现策略的泛化。同时,本研究使用了新颖的模仿学习目标,以及几何表示学习目标,通过在仿真系统中重新定位多样的对象以证明本方法的有效性。
Apr, 2022