May, 2017

回到 RGB：基于短基线立体视觉的手和手 - 物体交互的 3D 跟踪

PDF
TL;DR本文提出了一种新颖的解决方案，通过优化维持颜色一致性，将 3D 手部跟踪作为问题，并展示了其在不同场景中的应用性能，这种基于立体相机的方法表现出与目前基于 RGBD 相机的竞争者相当的能力，甚至在某些情况下表现更好。
3d trackinghuman handrgb stereooptimizationcolor consistency
发现论文，激发创造
  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • 从 RGB-D 输入实时联合跟踪手部操纵物体

    本文提出了一种实时的手和物体姿态联合追踪方法，利用一个单独的 RGB-D 相机，通过 3D GMM 算法和创新的正则化策略，同时解决了遮挡、快速运动和手与物体重合的问题，辅以判别式手部部分分类和物体分割，实现了实时追踪。实验结果表明，该方法具有速度、准确性和鲁棒性。

    Oct, 2016

  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017

  • 手 - 物件交互式 3D 物体重建

    本研究介绍了一种利用在手扫描中提取三维手部动作并将其融合到三维重建管道中的方法，以实现即使是无特征和高度对称的物体的重建，这将对手持扫描技术的最新进展有重大贡献。

    Apr, 2017

  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 基于自我参照 RGB-D 传感器的实时遮挡手部追踪

    使用两个连续应用的卷积神经网络（CNN）对手部进行定位并回归三维关节位置，进而实现在复杂环境中移动自视角 RGB-D 相机下的实时、稳健和准确的手部姿态估计。

    Apr, 2017

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 使用立体匹配技术进行三维手部姿态跟踪与估计

    本论文提出使用被动立体视觉技术跟踪 / 估计手部姿势的手部姿势跟踪 / 估计算法，并提出 18,000 对立体图像和 18,000 对深度图像的基准数据，以及手掌和手指关节的地面真实 3D 位置，以测试该算法在不同挑战场景下的表现，并且通过手部分割算法提高了跟踪 / 估计算法的性能并得到了量化验证，结果表明被动立体视觉技术具有与主动深度传感器类似的跟踪质量。

    Oct, 2016