Jun, 2024

Hi5：零人工标注的 2D 手部姿态估计

PDF
TL;DR提出一种新的大规模合成手部姿态估计数据集 Hi5 以及一种新的廉价方法来收集高质量合成数据，无需人工注释或验证。在计算机图形学的最新进展下，利用具有多样性性别、肤色和动态环境和摄像机移动的高保真度 3D 手部模型，我们的数据合成流程可以精确控制数据多样性和表示，确保健壮和公平的模型训练。通过使用一台普通消费级个人电脑，我们生成了一个包含 583,000 张图像和准确的姿态注释的数据集，这个数据集紧密地代表了现实世界的变异性。使用 Hi5 训练的姿态估计模型在真实手部基准测试中表现出竞争力，而在遮挡和扰动测试中超过了使用真实数据训练的模型。我们的实验显示出合成数据作为解决现实数据集中数据表示问题的可行方案的有希望的结果。总体而言，本文提供了一种有希望的新方法来创建和注释合成数据，可以降低成本并增加手部姿态估计的数据多样性和质量。
synthetic datahand pose estimationhi5 datasetdata diversitymodel training
发现论文，激发创造
  • BigHand2.2M 基准测试：手势姿态数据集和最新技术分析

    介绍了一种新的捕捉方法和跟踪系统，自动获取 21 个关节点的手部姿势数据，并通过新数据集和卷积神经网络对自我视角手势估计和交叉基准性能进行显著改进。

    Apr, 2017

  • 大规模多视角 3D 手势姿态数据集

    提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的 2D 手势姿势估计的深度学习框架。

    Jul, 2017

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • FreiHAND：单张 RGB 图像无标记手势姿态和形状数据集

    本研究介绍了一个大型多视角手部数据库，并提出了一种迭代的半自动方法，用于将三维手部姿势和形状标注应用于该数据库，以解决基于单个 RGB 图像的三维手部姿势估计的高度不确定性问题，并评估了模型的性能。

    Sep, 2019

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • RenderIH: 一个用于 3D 交互式手势姿势估计的大规模合成数据集

    为了提高手部姿势估计的准确性，研究提出了一个大规模的合成数据集 RenderIH，其中包含 100 万张具有不同背景、视角和手部纹理的逼真照片。为了生成自然和多样化的交互姿势，提出了一种新的姿势优化算法。而用于姿势估计的基于 Transformer 的模型 TransHand 则能够利用交互手部之间的相关性，并验证 RenderIH 在改善结果方面的有效性。经过实验证明，使用该合成数据集进行预训练可以显著将误差从 6.76mm 降至 5.79mm，并且 TransHand 在性能上超越了其他方法。

    Sep, 2023

  • 基于图像合成的深度 3D 人体姿态估计

    本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案，通过生成大量的具有三维姿势标注的逼真合成图像，并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练，成功地在受控环境（Human3.6M）中优于大多数已发表的作品，并在真实图像（LSP）中展现了有前途的结果。

    Feb, 2018

  • AssemblyHands: 通过 3D 手部姿态估算实现自我中心活动理解

    AssemblyHands 是一份大规模基准数据集，包括 3D 手部姿态注释和同步的自中心和非中心图像，旨在研究具有挑战性的手 - 物体交互，可应用于 3D 手部姿态的估计和行动识别任务。

    Apr, 2023

  • 高效创建三维训练数据以进行手部姿态细化估计

    本文提出了一种半自动标记方法，该方法可以高效地标记手深度视频的每一帧，从而获得 3D 关节位置数据用于训练手势估计模型，并在手势识别领域取得了最先进的精度。

    May, 2016

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017