ECCVMar, 2020

针对手 - 物交互情况下 3D 手势姿态估计的未知视角、关节、形状和物体的泛化测量

PDF
TL;DR研究 3D 手势姿势估计中不同类型方法的泛化能力，并通过公开挑战评估插值和外推的训练集姿势的能力，透彻分析了数据预处理、集成方法、使用参数化的 3D 手模型（MANO）以及不同的 HPE 方法 / 骨干网络对 3D 手姿势估计的影响，使得总体精度从基线的 27mm 提高到 13mm，尤其是在外推任务中。
3d hand pose estimationgeneralizationtraining setinterpolationextrapolation
发现论文，激发创造
  • 自我中心手与物体的姿态估计中的基准和挑战

    通过分析 3D 手 - 物体重建任务，我们展示了针对以自我为中心相机的畸变、采用高容量转换器来学习复杂的手 - 物体交互以及融合来自不同视角的预测等方法的有效性，并揭示了最新方法难以解决的快速手部运动、窄视角下的物体重建以及两只手和物体之间的近距离接触等具有挑战性的场景。我们的工作将丰富该领域的知识基础，并促进未来关于以自我为中心手 - 物体交互的研究。

    Mar, 2024

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • 基于深度的三维手势姿态估计：从当前成果到未来目标

    通过 HIM2017 数据集，分析了当前十大最先进的 3D 手势估计方法在三个任务上的表现，探究了不同的 CNN 结构对手的形状、关节可见度、视角和关节分布的表现，结果表明孤立的 3D 手势估计在视角范围 [70,120] 度时的平均误差较低（10 毫米），但对于极端视角的估计还远未完成。

    Dec, 2017

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016

  • 2023 以自我为中心的手部姿势估计挑战的第一名解决方案技术报告：一种简洁的以自我为中心的手部姿势重建流程

    本研究报告介绍了我们在 Egocentric 3D Hand Pose Estimation 挑战赛上的工作。采用 AssemblyHands，我们使用基于 ViT 的骨干网络和简单回归器进行 3D 关键点预测，提供了强大的模型基线。我们提出了一种非模型方法，在后处理阶段合并多视图结果，以解决手 - 物体遮挡和自遮挡引起的性能下降问题。此外，我们利用测试时间增强和模型集成进一步改进了方法。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上实现了 12.21mm 的 MPJPE，并在 Egocentric 3D Hand Pose Estimation 挑战赛中获得第一名。

    Oct, 2023

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • 基于增强骨架空间转移的深度手部姿态估计

    本研究提出了一种基于生成式对抗网络的方法，针对手语姿势估计中收集综合数据集的难题，使用骨架空间合成数据，并用其训练单独的手势姿势生成器；该算法可生成可靠的手姿估计，且有效地改进了测试中的初始估计精度，此方法在四个基准数据集上比现有方法更好或相当。

    May, 2018