Dec, 2022

从互联网视频中学习手眼协调技能

PDF
TL;DR利用网络视频的人类手部动作行为作为真实世界经验来指导机器人任务，使用人类视频数据集的视觉、动作、物理规律作为机器人行为的先验知识的学习算法 VideoDex，在机器人手臂和灵巧的基于手的系统上进行测试，并在各种操作任务上显示出强大的结果。
robotic agentsreal-world experienceinternet videoslearning algorithmmanipulation tasks
发现论文，激发创造
  • DexVIP: 从视频中学习具有人类手势先验知识的灵巧抓取

    本文提出了 DexVIP，一种从人 - 物体交互中学习灵巧机器人抓取的方法，并在 30 自由度的模拟机器人手上进行了 27 个物体的实验，证明 DexVIP 比现有方法快速且更具效率。

    Feb, 2022

  • ViViDex: 从人类视频中学习基于视觉的灵巧操纵

    我们的研究旨在通过学习一种统一的基于视觉的策略，使多指机械手能够在各种姿势下操纵不同的物体。我们提出了一种新的框架 ViViDex，通过使用强化学习和轨迹引导奖励训练每个视频的基于状态的策略，从而获得视觉自然且物理可行的轨迹，并在不使用任何特权信息的情况下训练出一个统一的视觉策略，该方法通过坐标转换方法显著提升了性能，在三个灵巧操纵任务上展示出了较大的改进。

    Apr, 2024

  • DexMV：从人类视频中进行巧手操作的模仿学习

    本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

    Aug, 2021

  • 机器人心灵感应：通过观看 YouTube 上的人类学习机器人手模仿器

    通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

    Feb, 2022

  • 人机合作：通过眼手协同人类演示学习可推广的机器人操作

    本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达 58％。

    Jul, 2023

  • RealDex：面向机器人灵巧机械手的人类化抓握技术

    在这篇论文中，我们介绍了 RealDex—— 一个捕捉了真实灵巧手部抓握动作的先驱数据集，其中融入了人类行为模式，丰富了多视角和多模态的视觉数据。使用远程操作系统，我们实时无缝地同步人 - 机器手的姿态。这个类似人类运动的集合对于训练灵巧手更自然、更准确地模仿人类动作至关重要。RealDex 在推动人形机器人在现实世界场景中的自动感知、认知和操作方面具有巨大潜力。此外，我们介绍了一种先进的灵巧抓握动作生成框架，通过有效利用多模态的大型语言模型与人类经验相吻合，增强了其在现实世界的应用能力。大量实验证明了我们的方法在 RealDex 和其他公开数据集上的出色性能。完整的数据集和代码将在本文发表后提供。

    Feb, 2024

  • MyoDex: 灵巧操作的可推广先验

    利用多任务学习模型和行为先验，研究人类灵巧性和机器人物理控制在各种接触丰富的行为中的学习和操作能力。

    Sep, 2023

  • 从人的偏好学习通用人类先验知识，用于灵巧操纵

    使用直接的人类反馈通过视频来学习通用的人类先验，实现 20 种双手机器人操作任务中 RL 策略的高效调整，不需要进行人类演示，任务无关的奖励模型通过生成多样化策略并收集人类偏好进行训练。本方法在各种任务中表现出更接近人类行为的结果，甚至适用于未见过的任务，证明了其泛化能力。

    Apr, 2023

  • 通过观察学习：机器人操作的基于视频的学习方法综述

    机器人通过观察大规模人类视频学习可以增强对机器人操纵的泛化性和样本效率。

    Feb, 2024

  • H-InDex: 手动信息增强在熟练操纵中的视觉强化学习

    我们提出了一种基于人手的视觉表征学习框架，用于解决复杂的巧妙操作任务，并通过强化学习的方式进行训练。

    Oct, 2023