Oct, 2016

使用立体匹配技术进行三维手部姿态跟踪与估计

PDF
TL;DR本论文提出使用被动立体视觉技术跟踪 / 估计手部姿势的手部姿势跟踪 / 估计算法，并提出 18,000 对立体图像和 18,000 对深度图像的基准数据，以及手掌和手指关节的地面真实 3D 位置，以测试该算法在不同挑战场景下的表现，并且通过手部分割算法提高了跟踪 / 估计算法的性能并得到了量化验证，结果表明被动立体视觉技术具有与主动深度传感器类似的跟踪质量。
3d hand pose trackingpassive stereohand segmentationbenchmarktracking quality
发现论文，激发创造
  • 立体相机端到端的 3D 手部姿态估计

    该研究提出了一种使用端到端方法从立体相机中估计完整的三维手势姿态的方法，通过神经网络架构的扩展，该方法能够更好地实现稀疏视差手关节的估计，并且提出了一种大规模的合成数据集来有效训练模型。

    Jun, 2022

  • 基于深度的手部姿态估计：方法、数据和挑战

    手势姿态估计方面已有巨大进展，但在处理复杂场景，特别是手与周围物体交互的情况下仍存在困难。此研究提出了一个具有挑战性的新数据集，并定义了一个一致的评估标准，同时引入了一个简单有效的最近邻基线系统，加以比较，结果表明相当一部分系统无法在训练集之外进行有效泛化。

    Apr, 2015

  • 回到 RGB：基于短基线立体视觉的手和手 - 物体交互的 3D 跟踪

    本文提出了一种新颖的解决方案，通过优化维持颜色一致性，将 3D 手部跟踪作为问题，并展示了其在不同场景中的应用性能，这种基于立体相机的方法表现出与目前基于 RGBD 相机的竞争者相当的能力，甚至在某些情况下表现更好。

    May, 2017

  • 用 MEMS 超声波传感器进行手势估计

    提出了一种便携低成本的手部跟踪手套，采用多个微机电系统超声波传感器测量手指之间的距离矩阵，再利用轻量级深度网络从距离矩阵中重建出手部姿态，该方法精度高、尺寸不变且对外部干扰具有鲁棒性。

    Jun, 2023

  • 基于动力学的三维骨骼手部追踪

    本研究利用增强刚体模拟方法追踪手部骨骼姿态，在利用深度传感器样本生成限制运动方式的约束的基础上，使用投影高斯 — 赛德尔求解器解决先前的运动，碰撞 / 接触限制，以及关节力学问题，实现了实时、鲁棒且准确的 3D 骨骼追踪。

    May, 2017

  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023

  • 基于深度的三维手势姿态估计：从当前成果到未来目标

    通过 HIM2017 数据集，分析了当前十大最先进的 3D 手势估计方法在三个任务上的表现，探究了不同的 CNN 结构对手的形状、关节可见度、视角和关节分布的表现，结果表明孤立的 3D 手势估计在视角范围 [70,120] 度时的平均误差较低（10 毫米），但对于极端视角的估计还远未完成。

    Dec, 2017

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016