从 RGB 图像学习估计手持物体的姿态和形状

Mar, 2019

从 RGB 图像学习估计手持物体的姿态和形状

Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images

Mia Kokic, Danica Kragic, Jeannette Bohg

TL;DR该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

Abstract

We develop a system for modeling hand-object interactions in 3D from RGB images that show a hand which is holding a novel object from a known category. We design a convolutional neural network (CNN) for Hand-held

hand-object interactions convolutional neural network pose and shape estimation image-to-image translation synthetic dataset

发现论文，激发创造

从单一 RGB 图像中估计 3D 手型和姿势

本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

Mar, 2019

HOPE-Net: 基于图形的手 - 物体姿态估计模型

本文提出了一个轻量级的模型（HOPE-Net），它使用两级自适应图卷积神经网络级联来实时联合估计手和物体姿势的 2D 和 3D 坐标，通过端到端训练获得更好的 2D 和 3D 坐标估计精度，并且该模型可用于其他 3D 关键点检测问题。

Mar, 2020

从单张 RGB 图像学习估计 3D 手部姿势

本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

May, 2017

H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

Apr, 2019

手中的物品：手中通用物品的三维重建

使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

Apr, 2022

野外图像中的三维手部形状和姿态

利用先前计算好的人工建模和先验知识，结合深度学习的方法实现了从 RGB 图像中预测手部形状和姿态，结果显示出在标准基准测试中表现出最新颖的 3D 姿态预测效果，同时在弱监督下训练的模型也能够很好的应用于在实际环境中的 3D 形状和姿态预测。

Feb, 2019

联合手 - 物体姿态估计的通用反馈环

该研究提出一种通过反馈循环纠正卷积神经网络预测手的三维姿态估计的方法，使用深度神经网络同时估计手和物体的三维姿态，并在单个 GPU 上实时运行，性能好于现有方法。

Mar, 2019

使用单目 RGB 进行双手全局 3D 姿态估计

本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

Jun, 2020

DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

Aug, 2018

Hand3D：使用 3D 神经网络进行手部姿态估计

使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

Apr, 2017