基于事件的人手跟踪
提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架,通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞,推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R,并在强光条件下对真实数据具有更高的三维重建精度。
Dec, 2023
本文使用单个事件相机首次解决了从单目视频中估计 3D 手势姿态的问题,提出了一种新的神经方法,可在 1000Hz 的实时性能下具有高时间分辨率和低数据吞吐量等特征,并且在新生成的合成事件流上进行训练和泛化,该方法在准确性和捕捉前所未有的手部运动速度方面优于使用彩色(或深度)相机的最近单眼方法。
Dec, 2020
该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法,并考虑到了人手间的近距离交互情况,该方法通过多任务 CNN 回归多种信息,包括分割、对 3D 手模型的密集匹配、2D 关键点位置,以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证,并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法,甚至与基于深度的实时方法相媲美。
Jun, 2021
本文提出了一种快速的方法,使用单个深度相机准确跟踪手的快速和复杂关节动作,通过使用新型检测引导优化策略结合高斯混合表示深度估计出最佳拟合姿势,并展示了在公共数据集上的评估结果和与之前工作的比较。
Feb, 2016
本文提出了一种新的基于事件的方法,用于 3D 姿态估计和人体网格恢复,通过移动事件相机,通过衰减光线雕刻 3D 体素,重建人体姿态和网格,并拟合统计身体模型,实验结果表明该方法在姿态和身体网格估计精度方面优于传统基于帧的方法。
Apr, 2024
使用两个连续应用的卷积神经网络(CNN)对手部进行定位并回归三维关节位置,进而实现在复杂环境中移动自视角 RGB-D 相机下的实时、稳健和准确的手部姿态估计。
Apr, 2017
本文提出了使用事件相机和基于 CNN 的姿态检测方法的 EventCap 方法,结合了基于模型的优化以及深度网络检测处理,以捕获高速运动细节和减少跟踪漂移。实验结果表明,该方法具有高效准确的优点,并且对于具有挑战性的照明条件具有较强的鲁棒性。
Aug, 2019
手势运动捕捉的关键挑战在于质量和价格,该研究发现单个低成本 RGB-D 相机与生成模型,碰撞检测和重要点的结合可以捕捉运动中的两个交互手。
Apr, 2017
本文提出了一种实时的手和物体姿态联合追踪方法,利用一个单独的 RGB-D 相机,通过 3D GMM 算法和创新的正则化策略,同时解决了遮挡、快速运动和手与物体重合的问题,辅以判别式手部部分分类和物体分割,实现了实时追踪。实验结果表明,该方法具有速度、准确性和鲁棒性。
Oct, 2016
本文提出了一种基于 Event camera 的 EvHandPose 算法,通过 Event-to-Pose 模块中的新型手势流表示法,以及 Pose-to-IWE 模块中的对比度最大化和边缘限制来解决手部运动信息编码和运动模糊问题,在自我监督框架下设计 EvHandPose,同时还建立了第一个大规模真实世界基础的事件驱动手部姿态数据集,实现了在快速运动和强光等场景下的稳定且精确的手部姿态估计,并实现了 120 fps 或更高的 3D 手部姿态估计。
Mar, 2023