CVPRSep, 2019

面向嵌入式设备的辅助多任务训练高效 2.5D 手部姿态估计

PDF
TL;DR本研究介绍了在嵌入式设备上部署高效率 2.5D 手部姿势估计所需的数据、架构和训练过程，提出了标签和增强策略，并综合多模块网络构件和辅助多任务训练策略实现了与 MobileNetV2 相当性能的模型。该模型具有小的内存占用和高效的计算能力。
2d key-point estimation3d pose estimationhand pose estimationembedded devicesmulti-task training strategy
发现论文，激发创造
  • 基于生物力学约束的 3D 手部姿态弱监督估计

    本研究提出了一组创新的损失函数用于从 2D 图像中估计 3D 手势姿势，相较于仅仅使用 2D 标注数据，使用提出的生物力学约束显著减少了深度误差，提高了神经网络的准确性。

    Mar, 2020

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • 手势姿势估计的密集三维回归

    该研究提出了一种基于单个深度帧的三维手部姿态估计方法，通过像素级别的估计实现高效准确地实现骨架姿态估计，并在 MSRA 和 NYU 手部数据集上，其方法实现了最好的性能。

    Nov, 2017

  • 基于隐变量 2.5D 热力图回归的手部姿态估计

    本文提出一种使用 2.5D 姿势表示的新方法来从单目图像中估计 3D 手部姿态，通过使用深度图和热力图分布来训练卷积神经网络 (CNN) 模型，该模型在多个数据集上实现了最先进 2D 和 3D 手部姿态的估计。

    Apr, 2018

  • 我的视角，我的双手：准确的自视角二维手势姿态和动作识别

    通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

    Apr, 2024

  • 注意力！一个轻量级的二维手部姿势估计方法

    使用视觉的姿势估计技术及卷积神经网络架构，强化了自我关注模块让系统轻量化可在嵌入式系统中应用的新型人机交互方法。

    Jan, 2020

  • 高效创建三维训练数据以进行手部姿态细化估计

    本文提出了一种半自动标记方法，该方法可以高效地标记手深度视频的每一帧，从而获得 3D 关节位置数据用于训练手势估计模型，并在手势识别领域取得了最先进的精度。

    May, 2016

  • 基于嵌入式多任务学习的深度图像人体姿态估计

    本文提出一种多任务学习框架，采用深度神经网络进行实现，用于从静止深度图像中预测人体姿态，并使用 MatchNet 协助推断。在大规模数据集上的实验证明该框架可以显著提高人体姿态估计的准确度。

    Aug, 2016