Jun, 2024

EgoExo4D 手势挑战赛的 PCIE_EgoHandPose 解决方案

PDF
TL;DR我们的研究小组在 CVPR2024 的 EgoExo4D Hand Pose Challenge 中，通过我们的 'PCIE_EgoHandPose' 解决方案成功估计了包含 21 个三维关节的手部姿态，所提出的 Hand Pose Vision Transformer (HP-ViT) 结合了 ViT 骨干和变换器头来预测三维关节位置，采用 MPJPE 和 RLE 损失函数，在 Hand Pose 挑战中获得第一名，MPJPE 为 25.51，PA-MPJPE 为 8.49。
pcie_egohandposehand pose challengehand pose vision transformermpjperle loss function
发现论文，激发创造
  • 2023 以自我为中心的手部姿势估计挑战的第一名解决方案技术报告：一种简洁的以自我为中心的手部姿势重建流程

    本研究报告介绍了我们在 Egocentric 3D Hand Pose Estimation 挑战赛上的工作。采用 AssemblyHands，我们使用基于 ViT 的骨干网络和简单回归器进行 3D 关键点预测，提供了强大的模型基线。我们提出了一种非模型方法，在后处理阶段合并多视图结果，以解决手 - 物体遮挡和自遮挡引起的性能下降问题。此外，我们利用测试时间增强和模型集成进一步改进了方法。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上实现了 12.21mm 的 MPJPE，并在 Egocentric 3D Hand Pose Estimation 挑战赛中获得第一名。

    Oct, 2023

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 自我中心手与物体的姿态估计中的基准和挑战

    通过分析 3D 手 - 物体重建任务，我们展示了针对以自我为中心相机的畸变、采用高容量转换器来学习复杂的手 - 物体交互以及融合来自不同视角的预测等方法的有效性，并揭示了最新方法难以解决的快速手部运动、窄视角下的物体重建以及两只手和物体之间的近距离接触等具有挑战性的场景。我们的工作将丰富该领域的知识基础，并促进未来关于以自我为中心手 - 物体交互的研究。

    Mar, 2024

  • EvHandPose: 基于事件的稀疏监督三维手势姿态估计

    本文提出了一种基于 Event camera 的 EvHandPose 算法，通过 Event-to-Pose 模块中的新型手势流表示法，以及 Pose-to-IWE 模块中的对比度最大化和边缘限制来解决手部运动信息编码和运动模糊问题，在自我监督框架下设计 EvHandPose，同时还建立了第一个大规模真实世界基础的事件驱动手部姿态数据集，实现了在快速运动和强光等场景下的稳定且精确的手部姿态估计，并实现了 120 fps 或更高的 3D 手部姿态估计。

    Mar, 2023

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • SimpleEgo: 从自主摄像头预测概率性身体姿势

    本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法，该方法解决了硬件设计问题并能够量化姿势的不确定性，同时在此具有挑战性的配置中，获得了最先进的结果。

    Jan, 2024

  • 我的视角，我的双手：准确的自视角二维手势姿态和动作识别

    通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

    Apr, 2024

  • 野外自觉图像中的 3D 手势姿势估计

    WildHands 是一种用于在野外的视角图像中进行 3D 手势估计的方法，通过使用野外数据的辅助监督以及在实验室数据集中提供的 3D 监督，以及关于相机视野中手势位置的空间线索，能够在 ARCTIC 排行榜上实现最佳 3D 手势姿态并在 EPIC-HandKps 数据集上超越 FrankMocap 方法达到 45.3％的 2D 手势姿态优势。

    Dec, 2023

  • 针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

    通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

    Sep, 2022

  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020