Dec, 2018

移动设备上手部关键点精准定位

PDF
TL;DR提出了一种从常规彩色输入中定位 2D 手部关键点的新方法，该方法依赖于适当设计的卷积神经网络（CNN）计算一组热图（每个手部关键点一个），并在标准、公开数据集上通过大量实验将其与现有方法进行比较，在精度方面与竞争方法相匹配或优于竞争方法，但在计算效率方面明显优于竞争方法，因此适合于需要在移动设备上进行手部关键点估计的应用程序的构建块。
发现论文，激发创造
  • Key.Net: 通过手工设计和学习卷积神经网络滤波器进行关键点检测

    介绍了一种新颖的关键点检测方法，该方法结合了手工制作和学习的 CNN 滤波器，使用浅层的多尺度架构，在网络中使用尺度空间表示，在不同的层面提取关键点，并设计了一种损失函数来最大化关键特征的可重复性，使用 ImageNet 数据集创建了合成数据用于训练并在 HPatches 基准测试中进行了评估，结果显示我们的方法在可重复性，匹配性能和复杂性方面优于现有的检测器。

    Apr, 2019

  • Keypoint Transformer：用于精确 3D 姿态估计中解决具有挑战性的手部和物体交互中的关键点标识问题

    本文提出了一种名为 “Keypoint Transformer” 的深度神经网络结构，该结构可以通过二维关键点自注意力机制提取手部三维位姿，实验结果表明该算法在 InterHand2.6M 数据集上性能优于当前所有算法，并可以扩展到双手操纵物体的三维位姿估计，同时作者还提供了超过 75,000 个手部交互的三维场景数据集。

    Apr, 2021

  • 使用单目 RGB 进行双手全局 3D 姿态估计

    本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

    Jun, 2020

  • 基于自我参照 RGB-D 传感器的实时遮挡手部追踪

    使用两个连续应用的卷积神经网络（CNN）对手部进行定位并回归三维关节位置，进而实现在复杂环境中移动自视角 RGB-D 相机下的实时、稳健和准确的手部姿态估计。

    Apr, 2017

  • 基于人体关键点的视角估计引导方法

    提出 Click-Here CNN 以整合语义目标关键点信息加权影响图像特征，结合全局图像特征提高模型准确率，实验结果在 PASCAL 3D + 数据集上表现出优异性能。

    Mar, 2017

  • 基于隐变量 2.5D 热力图回归的手部姿态估计

    本文提出一种使用 2.5D 姿势表示的新方法来从单目图像中估计 3D 手部姿态，通过使用深度图和热力图分布来训练卷积神经网络 (CNN) 模型，该模型在多个数据集上实现了最先进 2D 和 3D 手部姿态的估计。

    Apr, 2018

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 使用卷积神经网络实现精细手部分割

    该研究提出了一种基于卷积层的深度学习架构，用于从自我中心视角提取手部的精确掩模，并证明该方法在多尺度下既准确又高效。

    Aug, 2016

  • 深入学习手势姿态估计

    本文研究使用卷积神经网络结构，预测手的三维关节位置，并通过引入关节先验和有效利用上下文来提高方案的预测精确性和可靠性，在多个基准测试中都表现出了远胜于现有技术的高精度和较快的计算时间。

    Feb, 2015

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016