Mar, 2024

TeleMoMa：一种用于移动机器人操作的模块化多功能远程操作系统

PDF
TL;DR在该论文中，我们演示了 TeleMoMa，这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口（包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等），TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器，我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略，并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度，我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具，使研究人员能够收集整体移动操纵演示。
发现论文，激发创造
  • 基于视觉和 IMU 的移动机器人手臂远程操作系统

    本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。

    Mar, 2020

  • 移动 ALOHA: 使用低成本全身远程操作学习双臂移动操纵

    通过移动操作的人类示范来模仿学习已经在机器人领域取得了令人瞩目的成绩。本研究开发了一种用于模仿双手操作和需要全身控制的移动操作任务的系统，并提出了 Mobile ALOHA 作为数据收集的低成本全身远程操作系统。通过使用 Mobile ALOHA 收集的数据，我们进行了监督行为克隆，并发现与现有的静态 ALOHA 数据集合作可以提高移动操作任务的性能。每个任务使用 50 个示范，合作训练可以将成功率提高到 90％，使 Mobile ALOHA 能够自主完成复杂的移动操作任务。

    Jan, 2024

  • 移动操作的主动感知运动生成

    通过主动感知管道，我们在移动机器人中引入一种能够在未知、杂乱环境中进行抓取等操作的机器人运动生成方法，通过最大化视觉信息增益和任务目标达成的效率来权衡重构未知场景，以及实现了我们的移动抓取策略在真实世界中的传递。

    Sep, 2023

  • Open-TeleVision: 具有沉浸式主动视觉反馈的远程操作

    我们提出了一种沉浸式远程操作系统 Open-TeleVision，用于收集机器人学习演示所必需的在机器人上的数据，通过在一个立体的方式中使操作者主动感知机器人的周围环境，并将操作者的手臂和手部动作映射到机器人上，创造出一种沉浸式的体验，我们通过在真实环境中收集数据并训练模仿学习策略，验证了我们系统的有效性。

    Jul, 2024

  • MOMA-Force：实际移动操纵的视觉力模仿

    我们提出了一种新颖的方法，通过 MOMA-Force 实现了移动操纵器在多个接触丰富的操作任务中的高效和稳健的操纵。

    Aug, 2023

  • 全身移动操纵的因果策略梯度

    本文介绍了新的 MoMa 框架 ——Causal MoMa，采用因果策略学习过程，自动发现行为之间的因果依赖，并在不同类型的仿真机器人及真实机器人上取得成功。

    May, 2023

  • 工业机器人操作的虚拟现实远程控制界面

    提出在商用虚拟现实界面下对工业机器人进行远程操作的问题，为此，提出了一个简化的过滤方法来处理命令信号，以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作，这一方法已在多种接触丰富的操作任务中得到了证明

    May, 2023

  • 机器人心灵感应：通过观看 YouTube 上的人类学习机器人手模仿器

    通过单个 RGB 摄像头观察人类操作者的动作并实时模仿，我们利用大规模丰富的人类手部视频数据训练了一个 system，使得未经训练的人能在各种熟练操作任务中对机器人进行远程操作，从而使机器人教学更加易于实现并可望辅助机器人在真实世界中实现自主行为。

    Feb, 2022

  • AnyTeleop: 一种通用基于视觉的灵巧机器人臂 - 手远程操作系统

    提出了一个统一而通用的遥操作系统 AnyTeleop，支持多个不同的机器人模型、手型、现实以及摄像头配置，实现了高性能的真实世界实验和仿真中的模仿学习性能。

    Jul, 2023

  • MoDem-V2: 用于真实世界机器人操作的视觉 - 动作世界模型

    本研究通过模型强化学习、演示增强的方法，构建了一个能够直接在真实世界中学习联系丰富的灵巧操纵技能的系统 MoDem-V2，在模拟和实际环境中进行了实证研究，为直接在真实世界中进行演示增强的视觉模型强化学习提供了成功的案例。

    Sep, 2023