CVPRMay, 2023

基于神经投票场的相机空间三维手部姿态估计

PDF
TL;DR通过基于 3D 隐式表示的单个 RGB 图像的相机空间 3D 手势估计的统一框架，我们提出了一种新颖的 3D 密集回归方案，该方案通过相机锥体内的密集 3D 点投票来估计相机空间 3D 手势。
camera-space3d hand pose estimationimplicit representationdense regressionneural voting field
发现论文，激发创造
  • 手势姿势估计的密集三维回归

    该研究提出了一种基于单个深度帧的三维手部姿态估计方法，通过像素级别的估计实现高效准确地实现骨架姿态估计，并在 MSRA 和 NYU 手部数据集上，其方法实现了最好的性能。

    Nov, 2017

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • PVN3D：一种深度点间 3D 关键点投票网络用于 6DoF 姿态估计

    本文提出了一种基于数据驱动的方法，使用关键点检测和 Hough 投票网络，实现了从单个 RGBD 图像稳健地估算 6DoF 物体姿态，并在多个基准测试中表现出色。

    Nov, 2019

  • 基于点姿投票和残差置换等变层的手部姿态估计

    本研究提出了一种用于无序点云的新型深度学习手势姿态估计方法，采用 Permutation Equivariant Layer (PEL) 作为基本元素，通过投票的方式将各点信息合并到最终姿态输出中，并在 NYU 数据集和 Hands2017Challenge 数据集上验证了其性能优于最近的最先进方法，成为 Hands2017Challenge 数据集中准确性最高的方法。

    Dec, 2018

  • HandNeRF: 可交互手部的神经辐射场

    该文提出了一个新的框架，使用神经辐射场（NeRF）重建手的外观和几何，使得能够从任意视角呈现手势动画的逼真图像和视频，并利用姿势驱动的变形场等方法实现了手外观与几何的合理映射，同时在密度学习中使用了伪深度图进行遮挡处理，最终在多项实验证明了该方法的有效性。

    Mar, 2023

  • 神经对应场用于物体姿态估计

    本文提出一种方法，通过单个 RGB 图像估计刚性物体的六自由度姿态，其中通过 3D 模型在摄像机视锥中采样三维查询点预测三维物体坐标，并借助全连接神经网络来实现神经对应场，最终使用 Kabsch-RANSAC 算法实现姿态估计，该方法在三个 BOP 数据集中都取得了最优结果。

    Jul, 2022

  • 跨模态深度变分手部姿态估计

    本研究提出一种基于生成深度神经网络的概率手部模型，通过交叉模态训练的潜在空间学习，使多模态感知到的图像之间的潜在空间具有连贯性，从而更准确地估计出基于 RGB 图像的三维手部姿态配置。此外，该模型也可用于深度图像，并具有生成能力。

    Mar, 2018

  • PVNet: 用于 6DoF 位姿估计的像素级投票网络

    本文提出了一种基于像素准确度的向量回归方法来精确估计单个 RGB 图像中物体的 6 自由度位姿，并使用 RANSAC 通过向量投票来有效地处理遮挡和截断问题，该方法的实验证明在 LINEMOD，Occlusion LINEMOD 和 YCB-Video 数据集上优于现有的方法，并且具有实时检测的高效性。

    Dec, 2018

  • HandVoxNet：一种基于深度体素网络的单深度图像三维手部形态与姿态估计方法

    通过弱监督学习的 3D 卷积网络结构，结合两种不同的手部形状表示，将手部表面映射到体素化手型图形之中，得到比现有手部姿态估计方法更加准确的结果，并在真实数据上通过体素化深度图扩充策略使得模型更具泛化性能。

    Apr, 2020

  • 基于三维可见性感知的通用神经辐射场模型用于交互手部

    这篇论文提出了一种可推广的可见性感知交互手部 NeRF（VA-NeRF）框架，通过利用可见性信息和改进的对抗学习，能够更好地还原具有交互的手部场景中不可见区域的特征，从而在 Interhand2.6M 数据集上取得显著的性能提升。

    Jan, 2024