Mar, 2024

关于利用三维手势姿势进行动作识别的实用性研究

PDF
TL;DR手势建模是行为识别的一种未充分探索的方式。我们提出了一种新颖的多模态变换器 HandFormer 来高效地对手势和场景语义进行建模，该方法在处理效率和准确率方面具有显著优势，并在自我中心行为识别方面取得了最新的最好性能。
3d hand posesaction recognitionhandformermultimodal transformeregocentric action recognition
发现论文，激发创造
  • 基于 RGB-D 视频和 3D 手势姿态注释的第一人称手部动作基准测试

    本文提出了一种基于 3D 手部姿势的第一人称动态手部动作识别方法，并通过收集大量 RGB-D 视频序列对其进行了实验评估。研究结果表明，在进行动作识别时，与其他数据形式相比，手部姿态作为一种线索具有明显的优势。

    Apr, 2017

  • 针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

    通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

    Sep, 2022

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 使用 2D 物体和手部姿态的自我视角人体动作识别

    本研究探索了使用二维手部姿态和物体姿态信息实现以自我为中心的动作识别的可行性，并使用最先进的基于 Transformer 的方法分类序列，并取得了 94% 的验证结果，这突出了二维手部和物体姿态信息在动作识别任务中的潜力，并为基于 3D 的方法提供了有前途的替代方案。

    Jun, 2023

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017