Jun, 2024

高效的人体姿势估计：利用 MediaPipe 中的先进技术

PDF
TL;DR该研究通过优化算法、提高准确性、计算效率和实时处理能力，在人体姿势估计方面取得了重要的进展；改进后的框架在动态运动和部分遮挡等复杂场景下显著提高了准确性，在增强现实、体育分析和医疗保健等方面具有广泛的应用，同时还探索了将这些改进应用于移动和嵌入式系统中，以提高计算效率和扩大可访问性；该研究为实时人体姿势估计技术确立了新的标准，并为未来的创新铺平了道路。
发现论文，激发创造
  • EfficientPose：神经架构搜索优化的高效人体姿态估计

    本文提出了一个高效的框架来解决人体姿势估计的问题，通过可微分神经架构搜索方法来个性化定制网络设计，并介绍了空间信息校正模块来提高最终预测的效果。实验结果表明，我们的最小模型只有 0.65 GFLOPs，在 MPII 上具有 88.1% 的 [email protected]，并且我们的大型模型只有 2 GFLOPs，而其准确性与最先进的大型模型 HRNet 相当 。

    Dec, 2020

  • MediaPipe Hands: 设备端实时手部追踪

    本研究提出了基于单个 RGB 相机的实时手部跟踪流水线用于 AR/VR 应用程序，该流水线包括掌探测器和手部路标模型，使用 MediaPipe 框架实现，可以在移动 GPU 上实现实时推理速度和高精度。

    Jun, 2020

  • 无标记运动捕捉的 3D 人体姿态估计算法综述

    本文综述了过去五年间的主要人体姿势估计方法，重点关注指标、基准和方法结构，提出了基于准确性、速度和鲁棒性的分类方法，并得出了未来研究的方向。

    Oct, 2020

  • MovePose: 移动和边缘设备上的高性能人体姿势估计算法

    MovePose 是一种为 CPU-based 移动设备上的实时人体姿势估计而设计的优化轻量级卷积神经网络，具有高精度和实时性能。

    Aug, 2023

  • 视频中自动婴儿二维姿势估计：比较七种深度神经网络方法

    通过比较七种不同的姿势估计方法，对婴儿在仰卧位的视频进行分析，发现除了 DeepLabCut 和 MediaPipe 外，其他方法在无需微调的情况下都表现出竞争力，其中 ViTPose 表现最佳。同时，引入颈中臀比例的错误和其他误测、多余检测以及不同方法的内部置信度评分可靠性的研究，这些都对下游任务有重要意义。

    Jun, 2024

  • 基于深度学习的人体姿势估计：综述

    本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述，系统分析和比较了这些解决方案，对研究的挑战，应用和未来方向进行了讨论，包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。

    Dec, 2020

  • 高效精确的手语识别：只需一个优秀的姿态估计库

    该研究利用 SPOTER 架构和 MediaPipe 技术，实现更高效、精准的手语识别，成功创建了首个公开的在线手语翻译应用。

    Sep, 2022

  • 基于优化元学习的摄像头畸变感知视频中的 3D 人体姿态估计

    本文提出了一种利用 MAML 算法、通过生成二维关键点的合成畸变数据，快速适应任何畸变环境的三维人体姿态估计模型，并通过使用骨长对称性和一致性进行推断阶段优化，以便在测试阶段成功适应各种程度的畸变并超越现有技术。

    Nov, 2021

  • DeeperCut: 一种更深、更强、更快的多人姿态估计模型

    本文旨在提高多人场景下的关节姿态估计技术。为此，我们在三个方面做出了贡献：提出了改进的身体部位检测器、新颖的图像条件下的成对项以及一种递增优化策略。我们的方法在多人姿态估计任务中表现得更加优秀，并在单人姿态估计任务上展现出了竞争性的性能。

    May, 2016

  • 基于嵌入式多任务学习的深度图像人体姿态估计

    本文提出一种多任务学习框架，采用深度神经网络进行实现，用于从静止深度图像中预测人体姿态，并使用 MatchNet 协助推断。在大规模数据集上的实验证明该框架可以显著提高人体姿态估计的准确度。

    Aug, 2016