OpenVR: 操作远程操作的遥控器
提出在商用虚拟现实界面下对工业机器人进行远程操作的问题,为此,提出了一个简化的过滤方法来处理命令信号,以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作,这一方法已在多种接触丰富的操作任务中得到了证明
May, 2023
我们提出了一种沉浸式远程操作系统 Open-TeleVision,用于收集机器人学习演示所必需的在机器人上的数据,通过在一个立体的方式中使操作者主动感知机器人的周围环境,并将操作者的手臂和手部动作映射到机器人上,创造出一种沉浸式的体验,我们通过在真实环境中收集数据并训练模仿学习策略,验证了我们系统的有效性。
Jul, 2024
本文讲述了如何通过商用虚拟现实技术和机器人控制软件集成降低成本来开发远程机器人系统,同时还引入了人体肢体表示模型,取得了比自动化算法更好的拾取、组装和制造效果。
Mar, 2017
在该论文中,我们演示了 TeleMoMa,这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口(包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等),TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器,我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略,并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度,我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具,使研究人员能够收集整体移动操纵演示。
Mar, 2024
本文提出了一种新型遥控系统,包含了触觉设备以及虚拟现实界面,应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法,针对工业领域的任务进行了验证实验,并展示了该系统在未来工业应用中的可行性。
Oct, 2022
本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务,并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。
Oct, 2017
本文提出了一种新型的遥操作系统,其结合了触觉设备和虚拟现实,为遥操作者提供 3D 视觉反馈,通过利用机载视觉和惯性传感器、对象跟踪算法和对象数据库实现。通过室内和室外实验,我们证明了提出的系统在实现高级空中操作任务方面的优势,包括抓取、放置、施力和插销孔插入。
Mar, 2020
本文介绍了一个多模态移动远程操作系统,其由一种新颖的基于视觉的手部姿态回归网络(Transteleop)和一种基于 IMU 的臂部追踪方法组成,并使用低成本深度摄像头观察人手,并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像,同时具备同时手 - 臂控制的可穿戴相机支架,关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处,并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。
Mar, 2020
通过增强现实(AR)远程操作系统,我们提出了一种自我监督的 6-DoF 抓取姿势检测框架,能够高效地学习人类示范,并提供不需要抓取姿势注释的 6-DoF 抓取姿势,实现了对未知物体进行仅仅通过三次示范就能够满意地学习抓取的能力。
Apr, 2024