May, 2024

优化 MediaPipe Holistic 全身姿势估计中的手部区域检测以提高精度和避免下游错误

PDF
TL;DR本文针对 MediaPipe Holistic 中手部区域兴趣（ROI）预测存在的关键缺陷进行研究，该缺陷影响手势语言识别的准确性。我们提出了一种基于数据驱动的方法来增强 ROI 估计，利用丰富的特征集，包括额外的手关键点和 z 维度。我们的研究结果表明，与当前方法相比，我们的估计更准确，交并比更高。我们的代码和优化可在指定的 URL 获取。
mediapipe holistichand region of interestsign language recognitionroi estimationintersection-over-union
发现论文，激发创造
  • MediaPipe Hands: 设备端实时手部追踪

    本研究提出了基于单个 RGB 相机的实时手部跟踪流水线用于 AR/VR 应用程序，该流水线包括掌探测器和手部路标模型，使用 MediaPipe 框架实现，可以在移动 GPU 上实现实时推理速度和高精度。

    Jun, 2020

  • 基于事件的人手跟踪

    本文提出了一种使用事件相机数据进行人手跟踪的新方法，通过使用轻量级算法分析捕获的帧以报告 3D 手部位置数据，并使用 ROI 找到特征用于深度感知。

    Apr, 2023

  • 适应性机械手抓取物体的鲁棒性、遮挡感知姿态估计

    该论文介绍了一种基于深度信息的机器人手臂感知与图像识别框架，包括自适应手指检测、点云数据处理、全局位姿估计、轨迹规划与性能分析等组件，该框架可以实现对高度遮挡物体进行精准的位姿估计与反应迅速的操作控制。

    Mar, 2020

  • 使用检测引导优化的快速坚韧手部跟踪

    本文提出了一种快速的方法，使用单个深度相机准确跟踪手的快速和复杂关节动作，通过使用新型检测引导优化策略结合高斯混合表示深度估计出最佳拟合姿势，并展示了在公共数据集上的评估结果和与之前工作的比较。

    Feb, 2016

  • 设备端实时手势识别

    提出了一个基于设备的实时手势识别系统，利用单个 RGB 相机检测一组预定义的静态手势，该系统包括手骨骼跟踪器和手势分类器，使用 MediaPipe Hands 作为手骨骼跟踪器的基础，在世界度量空间中添加了 3D 关键点的估计，并创建两个不同的手势分类器，一个基于启发式方法，另一个使用神经网络。

    Oct, 2021

  • HandOccNet: 鲁棒性遮挡下的 3D 手部网格估计网络

    提出了一种新的 3D 手部网格估计网络 HandOccNet，该网络可充分利用遮挡区域的信息来增强图像特征，设计了两个基于 Transformer 的模块来将手部信息注入遮挡区域，并使用自我注意机制优化输出，从而在具有挑战性的手物体遮挡的 3D 手部网格基准测试中取得了最先进的表现。

    Mar, 2022

  • 使用解剖学特征和迭代学习进行自监督优化的手势估计方法

    研究报告提出了一种自我监督学习框架，结合手势估计和手势识别，用于解决手势识别在复杂场景中的困难，以提高手动组装场景下的活动识别的准确性和鲁棒性。

    Jul, 2023

  • 全身 3D 人体网格估计的准确 3D 手部姿势估计

    本研究提出了 Hand4Whole 算法，使用 Pose2Pose 模块识别 3D 节旋转，并使用 MCP 关节特征预测 3D 腕部。另外，在预测 3D 手指旋转时，舍弃了人体特征，经过端到端训练后，相比之前的基于全身 3D 人体网格估计方法，我们的算法能够产生更好的 3D 手部重建结果。

    Nov, 2020

  • 基于图像的三维手部姿态估计的去噪扩散

    本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

    Aug, 2023

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016