Dec, 2023

单目事件相机下两只交互手的 3D 姿态估计

PDF
TL;DR提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。
3d hand trackingmonocular event camerasemi-supervised feature-wise attention mechanismintersection lossev2hands-s
发现论文，激发创造
  • EventHands: 基于事件流的实时神经网络 3D 手部姿态估计

    本文使用单个事件相机首次解决了从单目视频中估计 3D 手势姿态的问题，提出了一种新的神经方法，可在 1000Hz 的实时性能下具有高时间分辨率和低数据吞吐量等特征，并且在新生成的合成事件流上进行训练和泛化，该方法在准确性和捕捉前所未有的手部运动速度方面优于使用彩色（或深度）相机的最近单眼方法。

    Dec, 2020

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • 使用单个深度相机实时重建相互作用的两只手的姿态和形状

    本论文提出了一种新思路，用于实时跟踪并重构双手的姿态和形状。该方法通过能源最小化框架，将手部姿态和形状模型以及基于深度神经网络的高密度对应预测器嵌入其中，以实现快速运行，实时处理以及自动化调整。同时，文中还提到，该模型得到了场景复杂度不断升级的改进，并达到了同类研究领域的最高水准。

    Jun, 2021

  • 使用单目 RGB 进行双手全局 3D 姿态估计

    本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

    Jun, 2020

  • 基于事件的人手跟踪

    本文提出了一种使用事件相机数据进行人手跟踪的新方法，通过使用轻量级算法分析捕获的帧以报告 3D 手部位置数据，并使用 ROI 找到特征用于深度感知。

    Apr, 2023

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017

  • 通过手部去遮挡和去除实现的 3D 交互手势姿态估计

    该研究提出了一种新的处理双手交互姿态估计的方法，包括手部去遮挡和干扰物去除，建立了大规模合成数据集以促进研究发展，并显示该方法显著优于先前的同类研究。

    Jul, 2022

  • 基于自我参照 RGB-D 传感器的实时遮挡手部追踪

    使用两个连续应用的卷积神经网络（CNN）对手部进行定位并回归三维关节位置，进而实现在复杂环境中移动自视角 RGB-D 相机下的实时、稳健和准确的手部姿态估计。

    Apr, 2017

  • EvHandPose: 基于事件的稀疏监督三维手势姿态估计

    本文提出了一种基于 Event camera 的 EvHandPose 算法，通过 Event-to-Pose 模块中的新型手势流表示法，以及 Pose-to-IWE 模块中的对比度最大化和边缘限制来解决手部运动信息编码和运动模糊问题，在自我监督框架下设计 EvHandPose，同时还建立了第一个大规模真实世界基础的事件驱动手部姿态数据集，实现了在快速运动和强光等场景下的稳定且精确的手部姿态估计，并实现了 120 fps 或更高的 3D 手部姿态估计。

    Mar, 2023