Aug, 2017

通过混合现实头戴式显示器传达机器人臂部运动意图

PDF
TL;DR研究显示，与 2D 显示相比，使用混合现实头戴显示器可以更准确和快速地预测机器人的运动轨迹，提高机器人与人类协作的效率。
motion intent communicationrobot-human collaborationmixed realityhead-mounted displaymotion prediction
发现论文，激发创造
  • 混合现实中可访问的机器人控制

    本研究提出一种通过 Hololens 2 控制 Boston Dynamics 的 Spot 机器人的新方法，该方法主要面向残障人士，用户可以通过眼神追踪和头部动作追踪等技术来控制机器人的运动和机械臂的姿势，与传统的操纵杆控制方法相比具有更好的用户体验和时间效率。

    Jun, 2023

  • 利用增强现实技术和手势控制实现直观的人机协作

    通过增强现实和基于手势的系统，支持直观的人机合作并改善信息交换，以实现人机团队合作在服务任务中的现实应用，并为自主 HRI 系统的未来开发、实验提供指导。

    Sep, 2019

  • 实时动态机器人辅助手 - 物体交互基于动作基元

    提出一种基于动态机器人辅助手物交互的方法，通过手部姿态估计、自适应机器人控制和运动原语的综合运用，在实现精确任务执行和适应实时动作方面提高了人机物理交互的效果。

    May, 2024

  • 利用高斯过程进行虚拟环境中人机交互的安全运动预测

    通过使用高斯过程模型来预测人手运动并基于手势和凝视开发人类意图检测策略，本研究旨在提高协作机器人的效率，并改善人类用户的安全性。对比结果显示，预测模型使机器人时间提高了 3％，安全性提高了 17％；与凝视结合使用时，使用高斯过程模型的预测使机器人时间提高了 2％，安全性提高了 13％。

    May, 2024

  • 从真实环境到虚拟环境的人机协作中以通信为重点的机器学习模型的系统调整

    虚拟现实在多个领域中得到了证明：从游戏、医学和培训到人机协作界面的开发，它能够帮助设计师在超越真实环境限制的情况下探索应用，并开发创新的解决方案和体验。对于在虚拟领域借助自然而直观的手势实现协同机器人操作，需要创建大量的数据集，以便使工作界面易于学习和灵活添加手势。由于计算或经济限制，这可能具有一定的挑战性，因此将在真实环境中表现良好的深度学习模型调整到虚拟领域可能是解决方案。本文提出了一个系统的框架，通过虚拟数据集的有限大小实现从真实到虚拟的适应，并提供了创建策划数据集的指导方针。最后，虽然手势被视为通信模式，但所提供的指南和建议是通用的，适用于其他模式，如身体姿势和面部表情，这些模式在真实领域中有大量可用的数据集，需要适应到虚拟领域。

    Jul, 2023

  • 将苹果与橙子进行比较：在物体分类任务中使用 LLM 强化的多模态意图预测

    应用大型语言模型进行人机交互中人类意图推断的 hierarchical 方法评估

    Apr, 2024

  • 利用凝视和运动特征的意图估计，用于人机共享控制的物体操作

    使用自然注视和运动特征来预测当前动作和目标对象的一个意图估计框架，可在较拥挤的场景中在单手或双手操作时进行训练和测试，并提出了一个基于规则的模型来识别双手操作。

    Aug, 2022

  • 基于语音识别的工具传递中的动态手势特征人机适应

    基于手势识别和动态动作识别的人机协作框架在 UR5e 机器人平台上展示出卓越的性能，提供了高效的工具传递，同时不显著干扰人类意图。

    Sep, 2023

  • 移动头戴式显示设备上的实时自我中心手势识别

    本文演示了在移动 VR 头戴式显示器上实时实现自我中心手势检测和定位的方法。通过创新的混合现实数据收集工具，以及超过 400,000 帧的最大自我中心手势和边界框数据集，在现代移动 CPU 上实现的神经网络可以在 8 个类别中实现超过 76％的手势识别精度。

    Dec, 2017

  • 工业机器人操作的虚拟现实远程控制界面

    提出在商用虚拟现实界面下对工业机器人进行远程操作的问题，为此，提出了一个简化的过滤方法来处理命令信号，以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作，这一方法已在多种接触丰富的操作任务中得到了证明

    May, 2023