基于动力学的三维骨骼手部追踪
该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法,并考虑到了人手间的近距离交互情况,该方法通过多任务 CNN 回归多种信息,包括分割、对 3D 手模型的密集匹配、2D 关键点位置,以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证,并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法,甚至与基于深度的实时方法相媲美。
Jun, 2021
本文提出了一种实时的手和物体姿态联合追踪方法,利用一个单独的 RGB-D 相机,通过 3D GMM 算法和创新的正则化策略,同时解决了遮挡、快速运动和手与物体重合的问题,辅以判别式手部部分分类和物体分割,实现了实时追踪。实验结果表明,该方法具有速度、准确性和鲁棒性。
Oct, 2016
本文提出了一种快速的方法,使用单个深度相机准确跟踪手的快速和复杂关节动作,通过使用新型检测引导优化策略结合高斯混合表示深度估计出最佳拟合姿势,并展示了在公共数据集上的评估结果和与之前工作的比较。
Feb, 2016
本文提出了一种新颖的解决方案,通过优化维持颜色一致性,将 3D 手部跟踪作为问题,并展示了其在不同场景中的应用性能,这种基于立体相机的方法表现出与目前基于 RGBD 相机的竞争者相当的能力,甚至在某些情况下表现更好。
May, 2017
该研究提出了一种新的实时无标记手部跟踪方法,使用 SAG 的隐式手形状表示和顺畅且解析可微分的姿势拟合能量,实现了更准确的手部建模和更高的追踪精度,并在公共数据集上进行了定量和定性实验。
Feb, 2016
本论文提出使用被动立体视觉技术跟踪 / 估计手部姿势的手部姿势跟踪 / 估计算法,并提出 18,000 对立体图像和 18,000 对深度图像的基准数据,以及手掌和手指关节的地面真实 3D 位置,以测试该算法在不同挑战场景下的表现,并且通过手部分割算法提高了跟踪 / 估计算法的性能并得到了量化验证,结果表明被动立体视觉技术具有与主动深度传感器类似的跟踪质量。
Oct, 2016
这篇文章提出了一种手势捕捉框架,其结合了生成模型和歧视性训练显著点,以实现对物体和其他手势之间互动场景的精确捕捉,并使用碰撞检测和物理模拟实现了在遮挡和缺失数据情况下的准确估计,能适用于单目 RGB-D 序列和同步多 RGB 摄像头的设置。
Jun, 2015
本论文提出了一种新思路,用于实时跟踪并重构双手的姿态和形状。该方法通过能源最小化框架,将手部姿态和形状模型以及基于深度神经网络的高密度对应预测器嵌入其中,以实现快速运行,实时处理以及自动化调整。同时,文中还提到,该模型得到了场景复杂度不断升级的改进,并达到了同类研究领域的最高水准。
Jun, 2021
手势运动捕捉的关键挑战在于质量和价格,该研究发现单个低成本 RGB-D 相机与生成模型,碰撞检测和重要点的结合可以捕捉运动中的两个交互手。
Apr, 2017
提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架,通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞,推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R,并在强光条件下对真实数据具有更高的三维重建精度。
Dec, 2023