Oct, 2019

基于视觉的灵巧机械手臂系统远程操作

PDF
TL;DR本研究设计了一个低成本的基于视觉的遥操作系统 DexPilot，透过观察裸露的人手简单操作即可完全控制拥有 23 个 DoA 的机器人系统，能够执行各种复杂的操作，收集高维度、多模态的状态 - 行动数据，为未来学习挑战性操作任务的感觉运动策略奠定基础。
发现论文，激发创造
  • AnyTeleop: 一种通用基于视觉的灵巧机器人臂 - 手远程操作系统

    提出了一个统一而通用的遥操作系统 AnyTeleop，支持多个不同的机器人模型、手型、现实以及摄像头配置，实现了高性能的真实世界实验和仿真中的模仿学习性能。

    Jul, 2023

  • 基于视觉和 IMU 的移动机器人手臂远程操作系统

    本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。

    Mar, 2020

  • Holo-Dex: 用沉浸式混合现实教授灵巧技能

    通过 Holo-Dex 框架，在虚拟现实环境中为机器人提供高保真的手部位姿估计信息，并使用功能学习和非参数模仿算法结合进行培训，以实现教学普适性的提高。

    Oct, 2022

  • 基于图像的熟练操作：通过细化引导实现自主现实世界强化学习

    本文提出了一种基于视觉的程序自由编程的方法，利用强化学习实现复杂多指手势下的实物操作，无需手动建模或奖励工程。

    Dec, 2022

  • DexMV：从人类视频中进行巧手操作的模仿学习

    本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

    Aug, 2021

  • DexVIP: 从视频中学习具有人类手势先验知识的灵巧抓取

    本文提出了 DexVIP，一种从人 - 物体交互中学习灵巧机器人抓取的方法，并在 30 自由度的模拟机器人手上进行了 27 个物体的实验，证明 DexVIP 比现有方法快速且更具效率。

    Feb, 2022

  • 机器人心灵感应：通过观看 YouTube 上的人类学习机器人手模仿器

    通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

    Feb, 2022

  • 从人类示范中学习软体机器手的熟练操作

    本文介绍了一种基于物体为中心示范实现的，用于训练软机械手进行熟练操作的方法，该方法使用增强学习技术，提出了一种新的算法，允许我们混合和选择最可行的示范来学习在硬件上模仿。最后，我们将这种方法应用于 RBO Hand 2 上，并获得了开 / 关阀门，滑珠和抓取等任务的良好表现。

    Mar, 2016

  • 使用两只多指手学习视触技能

    通过学习人类示范，我们利用双臂系统和视触数据探索实现类似人类敏捷性、感知体验和运动模式的目标。我们开发了一种低成本的手臂远程操作系统并重新利用配备触觉传感器的义肢手，通过采集到的视触数据学习完成长周期、高精度任务。我们的结果在双臂多指操作和视触数据方面迈出了有希望的一步。

    Apr, 2024

  • 面向任务的手部运动重新定位用于熟练操控模仿

    使用手势姿态估计器采集到的人手信息，结合逆运动学和 PSO 算法解决手姿态到 29 个自由度手模型的映射问题，以增加进行虚拟物体操作任务成功率，进而使用全部操作过程数据通过生成对抗性模仿学习训练出可用于虚拟现实中的抓握策略网络。

    Oct, 2018