ECCVJul, 2022

通过手部去遮挡和去除实现的 3D 交互手势姿态估计

PDF
TL;DR该研究提出了一种新的处理双手交互姿态估计的方法，包括手部去遮挡和干扰物去除，建立了大规模合成数据集以促进研究发展，并显示该方法显著优于先前的同类研究。
interacting hand pose estimationhand de-occlusiondistractor removalamodal interhand datasetsingle-hand pose estimation system
发现论文，激发创造
  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023

  • 一种基于单一 RGB 图像的立体交互手姿态估计数据集和基准线

    该篇论文针对手 - 手互动的行为研究提出了 InterNet 网络和 InterHand2.6M 数据库，用于从单个 RGB 图像中实现三维互动手势姿态估计，获得更准确的结果。

    Aug, 2020

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 从单张 RGB 图像学习估计 3D 手部姿势

    本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

    May, 2017

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021