CVPRMay, 2016

高效创建三维训练数据以进行手部姿态细化估计

PDF
TL;DR本文提出了一种半自动标记方法，该方法可以高效地标记手深度视频的每一帧，从而获得 3D 关节位置数据用于训练手势估计模型，并在手势识别领域取得了最先进的精度。
hand pose estimationsemi-automated labelling method3d joint locationssub-modular loss functionstate-of-the-art accuracy
发现论文，激发创造
  • 大规模多视角 3D 手势姿态数据集

    提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的 2D 手势姿势估计的深度学习框架。

    Jul, 2017

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • 基于生物力学约束的 3D 手部姿态弱监督估计

    本研究提出了一组创新的损失函数用于从 2D 图像中估计 3D 手势姿势，相较于仅仅使用 2D 标注数据，使用提出的生物力学约束显著减少了深度误差，提高了神经网络的准确性。

    Mar, 2020

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 手势姿势估计的密集三维回归

    该研究提出了一种基于单个深度帧的三维手部姿态估计方法，通过像素级别的估计实现高效准确地实现骨架姿态估计，并在 MSRA 和 NYU 手部数据集上，其方法实现了最好的性能。

    Nov, 2017

  • 视频中三维手姿和网格估计的时空感知自监督学习

    本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

    Dec, 2020

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016

  • 从单张 RGB 图像学习估计 3D 手部姿势

    本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

    May, 2017

  • 立体相机端到端的 3D 手部姿态估计

    该研究提出了一种使用端到端方法从立体相机中估计完整的三维手势姿态的方法，通过神经网络架构的扩展，该方法能够更好地实现稀疏视差手关节的估计，并且提出了一种大规模的合成数据集来有效训练模型。

    Jun, 2022