基于生物力学约束的 3D 手部姿态弱监督估计

Mar, 2020

基于生物力学约束的 3D 手部姿态弱监督估计

Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints

Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, Jan Kautz

TL;DR本研究提出了一组创新的损失函数用于从 2D 图像中估计 3D 手势姿势，相较于仅仅使用 2D 标注数据，使用提出的生物力学约束显著减少了深度误差，提高了神经网络的准确性。

Abstract

Estimating 3d hand pose from 2D images is a difficult, inverse problem due to the inherent scale and depth ambiguities. Current state-of-the-art methods train fully supervised deep neural networks with 3D ground-

3d hand pose deep neural networks 2d supervision depth ambiguity biomechanical constraints

发现论文，激发创造

相对论：弱监督数据下的单目三维人体姿态估计

通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

May, 2018

走向野外三维人体姿态估计：一种弱监督方法

本文提出了一种混合 2D 和 3D 标签的深度神经网络，通过弱监督迁移学习的方法，将控制实验室环境下的 3D 姿态标签转移到野外图像，使用共享表示直接训练完成增强的 2D 姿态估计子网络和 3D 深度回归子网络，并引入 3D 几何约束来规范 3D 姿态预测，以在无底深度标签的情况下提高准确度。该方法在 2D 和 3D 基准测试中均取得了优异的结果。

Apr, 2017

高效创建三维训练数据以进行手部姿态细化估计

本文提出了一种半自动标记方法，该方法可以高效地标记手深度视频的每一帧，从而获得 3D 关节位置数据用于训练手势估计模型，并在手势识别领域取得了最先进的精度。

May, 2016

基于模型的自监督学习实现的 3D 手部重建

本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

Mar, 2021

Hand3D：使用 3D 神经网络进行手部姿态估计

使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

Apr, 2017

基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

Jun, 2016

大规模多视角 3D 手势姿态数据集

提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的 2D 手势姿势估计的深度学习框架。

Jul, 2017

DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

Aug, 2018

面向嵌入式设备的辅助多任务训练高效 2.5D 手部姿态估计

本研究介绍了在嵌入式设备上部署高效率 2.5D 手部姿势估计所需的数据、架构和训练过程，提出了标签和增强策略，并综合多模块网络构件和辅助多任务训练策略实现了与 MobileNetV2 相当性能的模型。该模型具有小的内存占用和高效的计算能力。

Sep, 2019

野外多视角图像下的弱监督 3D 人体姿态学习

本文提出一种基于弱监督方式，利用多视角数据进行 3D 人体姿势估计的学习框架，包括利用 2.5D 表示法的目标函数，经过测试在两个大规模数据集上达到了半监督 / 弱监督方法的最佳表现。

Mar, 2020