Jun, 2023

混合现实中可访问的机器人控制

PDF
TL;DR本研究提出一种通过 Hololens 2 控制 Boston Dynamics 的 Spot 机器人的新方法，该方法主要面向残障人士，用户可以通过眼神追踪和头部动作追踪等技术来控制机器人的运动和机械臂的姿势，与传统的操纵杆控制方法相比具有更好的用户体验和时间效率。
spot robotboston dynamicshololens 2eye gaze trackinghead motion tracking
发现论文，激发创造
  • 通过混合现实头戴式显示器传达机器人臂部运动意图

    研究显示，与 2D 显示相比，使用混合现实头戴显示器可以更准确和快速地预测机器人的运动轨迹，提高机器人与人类协作的效率。

    Aug, 2017

  • Holo-Dex: 用沉浸式混合现实教授灵巧技能

    通过 Holo-Dex 框架，在虚拟现实环境中为机器人提供高保真的手部位姿估计信息，并使用功能学习和非参数模仿算法结合进行培训，以实现教学普适性的提高。

    Oct, 2022

  • 有限无线连接下的实时远程 VR 控制

    通过虚拟现实界面，利用实时传感器数据和无线连接性监测，实现在有限无线连接情况下对机器人的远程控制和自主导航的平滑切换。

    Jun, 2024

  • HoloLens 2 研究模式作为计算机视觉研究工具

    本技术报告介绍了 HoloLens 2 Research Mode API 和一组工具，使我们能够访问原始传感器流并基于处理传感器数据构建混合现实应用程序。此外，我们还展示了如何将 Research Mode 传感器数据与 HoloLens 2 提供的内置眼睛和手部追踪能力相结合。通过发布研究模式 API 和一组开源工具，我们旨在促进计算机视觉、机器人学等领域的进一步研究，并鼓励研究界的贡献。

    Aug, 2020

  • 探索辅助机器人臂的 AI 增强共享控制

    论文探讨了如何将人工智能集成到共享控制范式中，特别关注了人与机器人之间接口的要求和如何在显著减少心理负担和所需的运动技能的同时保持人的参与。

    Jun, 2023

  • 可扩展机器人模仿学习的增强现实演示

    通过增强现实技术辅助的演示获取框架，该论文提出了一种创新的解决方案，使非机器人专业人员能够使用 HoloLens 2 等设备为机器人模仿学习提供演示，从而实现了可扩展和多样化的真实世界任务演示收集。通过在三个经典机器人任务（到达、推动和拾取放置）上进行实验证明了该方法的有效性，实际机器人能够成功执行每个任务并回放通过增强现实收集的演示。

    Mar, 2024

  • 基于虚拟现实的身体追踪促进肌肉骨骼训练

    我们设计了一个基于 HoloLens 2 的应用程序，通过自主训练和自动评估来实现老年人和受伤人员的肌肉骨骼训练，我们评估了 HoloLens 2 的运动数据是否足以控制和预测肌肉骨骼训练中的身体动作和关节角度，结果显示 HoloLens 2 的运动数据与上半身运动和下肢关节角度的外部跟踪存在高度相关性。

    Aug, 2023

  • 基于物体姿态估计和主动学习的虚拟现实：实现具有空中操纵能力的遥控机器人

    本文提出了一种新型遥控系统，包含了触觉设备以及虚拟现实界面，应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法，针对工业领域的任务进行了验证实验，并展示了该系统在未来工业应用中的可行性。

    Oct, 2022

  • 一种基于眼动追踪技术的成本效益高的轮椅控制算法，用于腰麻痹症患者

    使用眼球移动指令驾驶轮椅的研究

    Jul, 2022

  • Baxter 的人造人：制造业中用于远程操作的虚拟现实空间

    本文讲述了如何通过商用虚拟现实技术和机器人控制软件集成降低成本来开发远程机器人系统，同时还引入了人体肢体表示模型，取得了比自动化算法更好的拾取、组装和制造效果。

    Mar, 2017