介绍一种使用虚拟现实技术进行机器人 Teleoperation 的方法,这种方法结合了 Franka Emika Panda 机器人和 Oculus VR 头戴式设备,并且具有易于使用和修改的特点。
May, 2023
本文讲述了如何通过商用虚拟现实技术和机器人控制软件集成降低成本来开发远程机器人系统,同时还引入了人体肢体表示模型,取得了比自动化算法更好的拾取、组装和制造效果。
Mar, 2017
本文提出了一种新型遥控系统,包含了触觉设备以及虚拟现实界面,应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法,针对工业领域的任务进行了验证实验,并展示了该系统在未来工业应用中的可行性。
Oct, 2022
本文提出了一种新型的遥操作系统,其结合了触觉设备和虚拟现实,为遥操作者提供 3D 视觉反馈,通过利用机载视觉和惯性传感器、对象跟踪算法和对象数据库实现。通过室内和室外实验,我们证明了提出的系统在实现高级空中操作任务方面的优势,包括抓取、放置、施力和插销孔插入。
Mar, 2020
在该论文中,我们演示了 TeleMoMa,这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口(包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等),TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器,我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略,并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度,我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具,使研究人员能够收集整体移动操纵演示。
Mar, 2024
通过虚拟现实界面,利用实时传感器数据和无线连接性监测,实现在有限无线连接情况下对机器人的远程控制和自主导航的平滑切换。
Jun, 2024
提出了一个统一而通用的遥操作系统 AnyTeleop,支持多个不同的机器人模型、手型、现实以及摄像头配置,实现了高性能的真实世界实验和仿真中的模仿学习性能。
Jul, 2023
本文介绍了一个多模态移动远程操作系统,其由一种新颖的基于视觉的手部姿态回归网络(Transteleop)和一种基于 IMU 的臂部追踪方法组成,并使用低成本深度摄像头观察人手,并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像,同时具备同时手 - 臂控制的可穿戴相机支架,关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处,并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。
本研究设计了一个低成本的基于视觉的遥操作系统 DexPilot,透过观察裸露的人手简单操作即可完全控制拥有 23 个 DoA 的机器人系统,能够执行各种复杂的操作,收集高维度、多模态的状态 - 行动数据,为未来学习挑战性操作任务的感觉运动策略奠定基础。
Oct, 2019
本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务,并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。
Oct, 2017