Open-TeleVision: 具有沉浸式主动视觉反馈的远程操作
介绍一种使用虚拟现实技术进行机器人 Teleoperation 的方法,这种方法结合了 Franka Emika Panda 机器人和 Oculus VR 头戴式设备,并且具有易于使用和修改的特点。
May, 2023
在该论文中,我们演示了 TeleMoMa,这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口(包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等),TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器,我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略,并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度,我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具,使研究人员能够收集整体移动操纵演示。
Mar, 2024
本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务,并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。
Oct, 2017
本文介绍了一个多模态移动远程操作系统,其由一种新颖的基于视觉的手部姿态回归网络(Transteleop)和一种基于 IMU 的臂部追踪方法组成,并使用低成本深度摄像头观察人手,并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像,同时具备同时手 - 臂控制的可穿戴相机支架,关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处,并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。
Mar, 2020
本文提出了一种新型的遥操作系统,其结合了触觉设备和虚拟现实,为遥操作者提供 3D 视觉反馈,通过利用机载视觉和惯性传感器、对象跟踪算法和对象数据库实现。通过室内和室外实验,我们证明了提出的系统在实现高级空中操作任务方面的优势,包括抓取、放置、施力和插销孔插入。
Mar, 2020
提出在商用虚拟现实界面下对工业机器人进行远程操作的问题,为此,提出了一个简化的过滤方法来处理命令信号,以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作,这一方法已在多种接触丰富的操作任务中得到了证明
May, 2023
提出了一个统一而通用的遥操作系统 AnyTeleop,支持多个不同的机器人模型、手型、现实以及摄像头配置,实现了高性能的真实世界实验和仿真中的模仿学习性能。
Jul, 2023
通过使用一个新型的人机协作系统,允许人类操作员与机器人共同控制机器人末端执行器,从而实现了同时进行人类示范收集和机器人操作教学,以提高数据收集效率和降低人类适应性需求。
Jun, 2024
Bunny-VisionPro 是一种实时的双手熟练远程操作系统,利用虚拟现实头盔并设计了新颖的低成本设备为操作员提供触觉反馈,以提高沉浸感。该系统通过创新设计结合碰撞和奇异避免以保证安全,并在保持实时性能的同时,优于之前的系统在标准任务套件上取得更高的成功率和减少的任务完成时间。此外,高质量的远程操作演示提高了下游的模仿学习性能,提高了泛化能力。值得注意的是,Bunny-VisionPro 能够实现具有挑战性的多阶段、长期视野的熟练操纵任务的模仿学习,这在之前的研究中很少有人涉及。该系统在同时处理双手操作、优先考虑安全和实时性能方面的能力使其成为推动熟练操纵和模仿学习的强大工具。
Jul, 2024