Aug, 2023

临床应用中的手部追踪：Google MediaPipe Hand (GMH) 和深度增强 GMH-D 框架的验证

PDF
TL;DR验证 Google MediaPipe Hand (GMH) 及其改进版本 GMH-D 对 3D 手部运动的准确跟踪的有效性，并证明 GMH-D 在临床应用中评估 3D 手部运动方面的优越性。
发现论文，激发创造
  • 设备端实时手势识别

    提出了一个基于设备的实时手势识别系统，利用单个 RGB 相机检测一组预定义的静态手势，该系统包括手骨骼跟踪器和手势分类器，使用 MediaPipe Hands 作为手骨骼跟踪器的基础，在世界度量空间中添加了 3D 关键点的估计，并创建两个不同的手势分类器，一个基于启发式方法，另一个使用神经网络。

    Oct, 2021

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 使用检测引导优化的快速坚韧手部跟踪

    本文提出了一种快速的方法，使用单个深度相机准确跟踪手的快速和复杂关节动作，通过使用新型检测引导优化策略结合高斯混合表示深度估计出最佳拟合姿势，并展示了在公共数据集上的评估结果和与之前工作的比较。

    Feb, 2016

  • 使用 RGB-D 传感器捕捉手部动作，将生成模型与显著点融合

    手势运动捕捉的关键挑战在于质量和价格，该研究发现单个低成本 RGB-D 相机与生成模型，碰撞检测和重要点的结合可以捕捉运动中的两个交互手。

    Apr, 2017

  • MediaPipe Hands: 设备端实时手部追踪

    本研究提出了基于单个 RGB 相机的实时手部跟踪流水线用于 AR/VR 应用程序，该流水线包括掌探测器和手部路标模型，使用 MediaPipe 框架实现，可以在移动 GPU 上实现实时推理速度和高精度。

    Jun, 2020

  • MM-Hand: 3D 感知的多模式导向的手部生成网络用于 3D 手势合成

    该论文提出了一种学习为基础的方法，使用 3D 姿态信息来合成逼真、多样和保留 3D 姿态的手图像，并通过基于几何的课程学习策略使增强数据能够持续提高最先进的 3D 手位姿估计器的定量性能。

    Oct, 2020

  • 设备端实时自定义手势识别

    该研究论文提出了一个用户友好的框架，使用户能够自定义和部署自己的手势识别流程，包括使用预训练的单手嵌入模型进行微调，提供低代码解决方案用于训练和部署自定义手势识别模型，以及提供无代码的 Web 前端，最终得到的自定义手势识别可以在实时场景中进行设备上运行。

    Sep, 2023

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 用 MEMS 超声波传感器进行手势估计

    提出了一种便携低成本的手部跟踪手套，采用多个微机电系统超声波传感器测量手指之间的距离矩阵，再利用轻量级深度网络从距离矩阵中重建出手部姿态，该方法精度高、尺寸不变且对外部干扰具有鲁棒性。

    Jun, 2023