MMJul, 2023

结合视觉和基于 EMG 的手部跟踪技术的拓展现实音乐乐器

PDF
TL;DR本文提出了一种多模态手部追踪系统，通过将基于视觉的手部追踪与肌电数据结合，实现手指关节角度估计。通过与基于视觉的追踪方法进行对比实验，验证了本系统更准确地追踪容易自我遮挡的几个手指关节。研究结果表明，该系统具有提供更准确、更稳定的手部追踪能力，可增强扩展现实体验。
hand trackingextended realitymultimodal systemself-occlusionxr experiences
发现论文，激发创造
  • 用 MEMS 超声波传感器进行手势估计

    提出了一种便携低成本的手部跟踪手套，采用多个微机电系统超声波传感器测量手指之间的距离矩阵，再利用轻量级深度网络从距离矩阵中重建出手部姿态，该方法精度高、尺寸不变且对外部干扰具有鲁棒性。

    Jun, 2023

  • UmeTrack: VR 统一多视角端到端手部跟踪

    本文提出了一种多视角、多帧手部跟踪的统一端到端可微框架，直接预测世界空间中的三维手部姿态，并演示了将框架扩展到降噪和捏预测等下游任务的好处。实验证明，该系统在处理各种具有挑战性的交互动作方面表现出色，并已成功应用于实时虚拟现实应用。

    Oct, 2022

  • 从单模态到多模态：通过深度生成模型改进基于 sEMG 的模式识别

    通过使用深度生成模型生成虚拟惯性测量单元信号，将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型，可以显著提高基于 sEMG 的手势识别的准确性。

    Aug, 2023

  • 基于视觉和 IMU 的移动机器人手臂远程操作系统

    本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。

    Mar, 2020

  • 增强基于肌电信号的手势识别表达能力的多标签分类方法

    通过问题转换方法和合成数据生成策略，本研究提出了一种表面肌电图（sEMG）手势识别系统，可有效提高表达能力，在短时间内实现模型校准，适用于人机交互、虚拟现实和机器人控制等领域。

    Sep, 2023

  • 基于自我参照 RGB-D 传感器的实时遮挡手部追踪

    使用两个连续应用的卷积神经网络（CNN）对手部进行定位并回归三维关节位置，进而实现在复杂环境中移动自视角 RGB-D 相机下的实时、稳健和准确的手部姿态估计。

    Apr, 2017

  • 使用误差增强的肌电手势分类用户训练

    设计并测试了一种实时控制的用户界面系统，通过提取腕带配置中八个电极的表面肌电（sEMG）活动。实时将 sEMG 数据传入机器学习算法，用于手势分类。实验结果表明，相对于基线，修改的反馈条件显著提高了准确性和手势分类分离，暗示了通过反馈操作的游戏化用户界面可能实现基于 sEMG 手势识别应用的直观、快速、准确的任务获取。

    Sep, 2023

  • 使用 RGB-D 传感器捕捉手部动作，将生成模型与显著点融合

    手势运动捕捉的关键挑战在于质量和价格，该研究发现单个低成本 RGB-D 相机与生成模型，碰撞检测和重要点的结合可以捕捉运动中的两个交互手。

    Apr, 2017

  • 从 RGB-D 输入实时联合跟踪手部操纵物体

    本文提出了一种实时的手和物体姿态联合追踪方法，利用一个单独的 RGB-D 相机，通过 3D GMM 算法和创新的正则化策略，同时解决了遮挡、快速运动和手与物体重合的问题，辅以判别式手部部分分类和物体分割，实现了实时追踪。实验结果表明，该方法具有速度、准确性和鲁棒性。

    Oct, 2016

  • 移动头戴式显示设备上的实时自我中心手势识别

    本文演示了在移动 VR 头戴式显示器上实时实现自我中心手势检测和定位的方法。通过创新的混合现实数据收集工具，以及超过 400,000 帧的最大自我中心手势和边界框数据集，在现代移动 CPU 上实现的神经网络可以在 8 个类别中实现超过 76％的手势识别精度。

    Dec, 2017