Sep, 2019

自适应图模型网络用于二维手部姿态估计

PDF
TL;DR本文提出一种名为自适应图模型网络（AGMN）的新架构，用于从单个 RGB 图像估计 2D 手部姿势，该架构包含两个深度卷积神经网络分支，用于计算一元和双元潜力函数，随后是图形模型推断模块，用于集成一元和双元潜力。与现有的将 DCNN 与图形模型结合的体系结构不同，我们的 AGMN 是新颖的，因为其图形模型的参数是基于并完全适应于个别输入图像的。实验证明，我们的方法在两个公共数据集上比 2D 手关键点估计中使用的最先进方法优越了不少。
adaptive graphical model network2d hand pose estimationdeep convolutional neural networksgraphical model inferenceimage
发现论文，激发创造
  • 卷积网络和图形模型联合训练的人体姿态估计

    本文提出一种新的混合架构，并将其成功应用于单眼图像中的人体姿态估计等领域，同时提出了联合训练的想法以提高性能并明显超越现有技术。

    Jun, 2014

  • MM-Hand: 3D 感知的多模式导向的手部生成网络用于 3D 手势合成

    该论文提出了一种学习为基础的方法，使用 3D 姿态信息来合成逼真、多样和保留 3D 姿态的手图像，并通过基于几何的课程学习策略使增强数据能够持续提高最先进的 3D 手位姿估计器的定量性能。

    Oct, 2020

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 通过聚合基于先验知识的手部内部和交互图来进行手 - 物体交互场景的 3D 手部重建

    最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

    Mar, 2024

  • 交织图与注意力网络用于三维人体姿势估计

    本文介绍了利用 Interweaved Graph and Attention Network 技术来进行从单视图图像中进行 3D 人体姿势估计的方法，结果表明该方法在 Human3.6M 和 MPI-INF-3DHP 两个流行的基准数据集上均达到了最先进的表现。

    Apr, 2023

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • 图形模型智能估计具有图像相关对关系的关节姿态

    使用深度卷积神经网络和图形模型，从单个静态图像中估计人的关节姿势，利用局部图像测量，定义图形模型并尝试预测它们之间的空间关系，从而充分利用图像相关联的先验知识。

    Jul, 2014

  • JGR-P2O: 基于联合图推理的基于像素偏移预测网络，用于从单个深度图像估计三维手部姿势

    本研究提出一种基于像素预测的手部姿态估计方法，采用图卷积网络进行关节图形化推理并将像素偏移量预测与直接关节回归统一进行端到端训练，实现了最先进的准确度，并且在单个 NVIDIA 1080Ti GPU 上以约 110fps 的速度高效运行。

    Jul, 2020

  • 使用单目 RGB 进行双手全局 3D 姿态估计

    本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

    Jun, 2020

  • HOPE-Net: 基于图形的手 - 物体姿态估计模型

    本文提出了一个轻量级的模型（HOPE-Net），它使用两级自适应图卷积神经网络级联来实时联合估计手和物体姿势的 2D 和 3D 坐标，通过端到端训练获得更好的 2D 和 3D 坐标估计精度，并且该模型可用于其他 3D 关键点检测问题。

    Mar, 2020