从单一 RGB 图像中估计 3D 手型和姿势
本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法,使用深度学习和关键点检测方法,配合学习的 3D 关节先验,以及基于合成手模型的大规模数据集进行了实验验证。
May, 2017
利用先前计算好的人工建模和先验知识,结合深度学习的方法实现了从 RGB 图像中预测手部形状和姿态,结果显示出在标准基准测试中表现出最新颖的 3D 姿态预测效果,同时在弱监督下训练的模型也能够很好的应用于在实际环境中的 3D 形状和姿态预测。
Feb, 2019
本文提出了一种基于卷积神经网络的多阶段流水线方法,仅通过单眼红绿蓝彩色图像在众多的干扰因素下,准确分割和定位手部区域并估计 2D 和 3D 的关节点位置;采用新颖的投影算法计算相对相机坐标系的全局关节点位置,为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下,本文超越了以往的 3D 典型手部姿态估计基准数据集;此外,本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪,并进行了广泛的定量和定性评估。
Jun, 2020
使用新的 3D 神经网络架构,通过深度图到三维体积表示的转化,直接对手的三维姿态进行估计,无需进一步处理。同时通过合成深度图来增加训练数据覆盖率,在公开数据上达到了最优性能。
Apr, 2017
该论文提出了一种新方法,利用多视角投影和学习的姿态先验,通过多视角热图来回归手部姿态,最终得出三维手势估计,实验表明该方法在难以应对的数据集上取得了优异表现。
Jun, 2016
本文提出了一种利用自我监督的三维手部重建网络,通过利用易于提取的二维关键点从输入图像中获取几何线索,并通过一套新颖的损失函数推理出网络输出,以进行精确的手部重建。与使用手动标注数据训练的方法相比,我们的方法减少了对手动标注的依赖,并展示了在更少的监督数据下达到可比较的性能。
Mar, 2021
本文提出一种使用 2.5D 姿势表示的新方法来从单目图像中估计 3D 手部姿态,通过使用深度图和热力图分布来训练卷积神经网络 (CNN) 模型,该模型在多个数据集上实现了最先进 2D 和 3D 手部姿态的估计。
Apr, 2018
该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法,并使用合成数据训练模型,获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。
Mar, 2019
本研究介绍了一种基于单目 RGB 彩色序列的实时 3D 手部追踪的方法,其结合了卷积神经网络和运动学 3D 手模型,提出了一种基于几何一致的图像到图像翻译网络的新方法来合成训练数据,并在拥有遮挡和不同相机视角的情况下进行了实验,该方法在 RGB 序列跟踪中优于当前最先进的技术。
Dec, 2017