Mar, 2020

基于视觉和 IMU 的移动机器人手臂远程操作系统

PDF
TL;DR本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。
multimodal mobile teleoperation systemtransteleopvision-based hand pose regression networkimu-based arm trackingwearable camera holder
发现论文，激发创造
  • TeleMoMa：一种用于移动机器人操作的模块化多功能远程操作系统

    在该论文中，我们演示了 TeleMoMa，这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口（包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等），TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器，我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略，并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度，我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具，使研究人员能够收集整体移动操纵演示。

    Mar, 2024

  • 用于空中操纵的视觉惯性远程操作

    本文提出了一种新型的遥操作系统，其结合了触觉设备和虚拟现实，为遥操作者提供 3D 视觉反馈，通过利用机载视觉和惯性传感器、对象跟踪算法和对象数据库实现。通过室内和室外实验，我们证明了提出的系统在实现高级空中操作任务方面的优势，包括抓取、放置、施力和插销孔插入。

    Mar, 2020

  • 基于视觉的灵巧机械手臂系统远程操作

    本研究设计了一个低成本的基于视觉的遥操作系统 DexPilot，透过观察裸露的人手简单操作即可完全控制拥有 23 个 DoA 的机器人系统，能够执行各种复杂的操作，收集高维度、多模态的状态 - 行动数据，为未来学习挑战性操作任务的感觉运动策略奠定基础。

    Oct, 2019

  • 运动约束的类人双臂机器人与人的交接

    提出了一个框架来生成运动学约束的类人双手机器人运动，以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明，与基线逆运动学方法相比，我们的方法被认为更类似于人类。

    Feb, 2024

  • 机器人心灵感应：通过观看 YouTube 上的人类学习机器人手模仿器

    通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

    Feb, 2022

  • 用 MEMS 超声波传感器进行手势估计

    提出了一种便携低成本的手部跟踪手套，采用多个微机电系统超声波传感器测量手指之间的距离矩阵，再利用轻量级深度网络从距离矩阵中重建出手部姿态，该方法精度高、尺寸不变且对外部干扰具有鲁棒性。

    Jun, 2023

  • AnyTeleop: 一种通用基于视觉的灵巧机器人臂 - 手远程操作系统

    提出了一个统一而通用的遥操作系统 AnyTeleop，支持多个不同的机器人模型、手型、现实以及摄像头配置，实现了高性能的真实世界实验和仿真中的模仿学习性能。

    Jul, 2023

  • Open-TeleVision: 具有沉浸式主动视觉反馈的远程操作

    我们提出了一种沉浸式远程操作系统 Open-TeleVision，用于收集机器人学习演示所必需的在机器人上的数据，通过在一个立体的方式中使操作者主动感知机器人的周围环境，并将操作者的手臂和手部动作映射到机器人上，创造出一种沉浸式的体验，我们通过在真实环境中收集数据并训练模仿学习策略，验证了我们系统的有效性。

    Jul, 2024

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 基于物体姿态估计和主动学习的虚拟现实：实现具有空中操纵能力的遥控机器人

    本文提出了一种新型遥控系统，包含了触觉设备以及虚拟现实界面，应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法，针对工业领域的任务进行了验证实验，并展示了该系统在未来工业应用中的可行性。

    Oct, 2022