Oct, 2023

2023 以自我为中心的手部姿势估计挑战的第一名解决方案技术报告：一种简洁的以自我为中心的手部姿势重建流程

PDF
TL;DR本研究报告介绍了我们在 Egocentric 3D Hand Pose Estimation 挑战赛上的工作。采用 AssemblyHands，我们使用基于 ViT 的骨干网络和简单回归器进行 3D 关键点预测，提供了强大的模型基线。我们提出了一种非模型方法，在后处理阶段合并多视图结果，以解决手 - 物体遮挡和自遮挡引起的性能下降问题。此外，我们利用测试时间增强和模型集成进一步改进了方法。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上实现了 12.21mm 的 MPJPE，并在 Egocentric 3D Hand Pose Estimation 挑战赛中获得第一名。
egocentric 3d hand pose estimationassemblyhandsvit based backbonesnon-model methodtest time augmentation
发现论文，激发创造
  • 自我中心手与物体的姿态估计中的基准和挑战

    通过分析 3D 手 - 物体重建任务，我们展示了针对以自我为中心相机的畸变、采用高容量转换器来学习复杂的手 - 物体交互以及融合来自不同视角的预测等方法的有效性，并揭示了最新方法难以解决的快速手部运动、窄视角下的物体重建以及两只手和物体之间的近距离接触等具有挑战性的场景。我们的工作将丰富该领域的知识基础，并促进未来关于以自我为中心手 - 物体交互的研究。

    Mar, 2024

  • AssemblyHands: 通过 3D 手部姿态估算实现自我中心活动理解

    AssemblyHands 是一份大规模基准数据集，包括 3D 手部姿态注释和同步的自中心和非中心图像，旨在研究具有挑战性的手 - 物体交互，可应用于 3D 手部姿态的估计和行动识别任务。

    Apr, 2023

  • 野外自觉图像中的 3D 手势姿势估计

    WildHands 是一种用于在野外的视角图像中进行 3D 手势估计的方法，通过使用野外数据的辅助监督以及在实验室数据集中提供的 3D 监督，以及关于相机视野中手势位置的空间线索，能够在 ARCTIC 排行榜上实现最佳 3D 手势姿态并在 EPIC-HandKps 数据集上超越 FrankMocap 方法达到 45.3％的 2D 手势姿态优势。

    Dec, 2023

  • EgoExo4D 手势挑战赛的 PCIE_EgoHandPose 解决方案

    我们的研究小组在 CVPR2024 的 EgoExo4D Hand Pose Challenge 中，通过我们的 'PCIE_EgoHandPose' 解决方案成功估计了包含 21 个三维关节的手部姿态，所提出的 Hand Pose Vision Transformer (HP-ViT) 结合了 ViT 骨干和变换器头来预测三维关节位置，采用 MPJPE 和 RLE 损失函数，在 Hand Pose 挑战中获得第一名，MPJPE 为 25.51，PA-MPJPE 为 8.49。

    Jun, 2024

  • 我的视角，我的双手：准确的自视角二维手势姿态和动作识别

    通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

    Apr, 2024

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • Ego3DPose：从双目视角中捕获 3D 线索

    Ego3DPose 是一种高精度的双眼自我中心三维姿态重建系统，通过使用双眼自我中心布置实现了更实用和有用的各种应用。通过引入常被忽视的立体对应和透视，解决了目前方法在姿态估计精度上的不足，并提出了两种新的方法来应对挑战：一是设计了双路径网络架构，独立地估计每个连接的姿态，减轻了对全身信息的依赖；二是利用了肢体的自我中心视图，提出了一种新颖的透视感知表示方法，使网络可以估计肢体的三维方向。综合评估表明，Ego3DPose 在 UnrealEgo 数据集中通过减少姿态估计误差（即 MPJPE）达到 23.1% 的降低，我们得到的定性结果突出显示了我们的方法在各种情景和挑战中的优越性。

    Sep, 2023

  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020

  • 2017 年百万手势挑战赛：3D 手势姿势估计

    本研究介绍了 2017 年万手挑战赛，此为一项 3D 手势定位任务评估公共比赛，其目的为探索解决此问题的最高水平，并发现交互模式及评估指标。挑战赛基于标准的数据集和评估协议，并与结果一起呈现在 ICCV 2017 年的第三届 “手部观察和理解活动” 国际研讨会上。

    Jul, 2017