Jun, 2020

使用单目 RGB 进行双手全局 3D 姿态估计

PDF
TL;DR本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。
发现论文，激发创造
  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 从单张 RGB 图像学习估计 3D 手部姿势

    本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

    May, 2017

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • 基于自我参照 RGB-D 传感器的实时遮挡手部追踪

    使用两个连续应用的卷积神经网络（CNN）对手部进行定位并回归三维关节位置，进而实现在复杂环境中移动自视角 RGB-D 相机下的实时、稳健和准确的手部姿态估计。

    Apr, 2017

  • 单目 RGB 实时三维手部跟踪的 GAN 生成手部

    本研究介绍了一种基于单目 RGB 彩色序列的实时 3D 手部追踪的方法，其结合了卷积神经网络和运动学 3D 手模型，提出了一种基于几何一致的图像到图像翻译网络的新方法来合成训练数据，并在拥有遮挡和不同相机视角的情况下进行了实验，该方法在 RGB 序列跟踪中优于当前最先进的技术。

    Dec, 2017

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 基于 RGB 和深度图的特权学习 3D 手势姿态估计

    本篇论文提出了一种从 RGB 图像中估计手部姿势的方法，该方法在训练时利用了相应的深度图像，使用深度数据来初始化深度网络、约束 RGB 网络权重、及抑制背景区域反应，使用 RGB 和深度图像的配对数据，训练 RGB 网络以学习深度网络中的中层特征，该方法在三个公共数据集上的实验结果表明，与使用 RGB 图像输入的其他方法相比，性能更优越。

    Nov, 2018

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023