ECCVAug, 2022

PSUMNet：统一模态部分流对于基于姿势的动作识别的高效实现

PDF
TL;DRPSUMNet 是一种新方法，其在表征层面提出了一种基于全局框架的部分流方法来进行动作识别，比基于传统模态的流更有效，并且在 NTURGB + D 60/120 数据集和 NTU 60-X/120-X 密集关节骨架数据集上实现了最先进的性能。
pose-basedaction recognitionpsumnetpart streamscalability
发现论文，激发创造
  • 探索人工解析模式用于动作识别

    采用人体解析特征图作为一种新的模态，结合骨架和人体解析模态，提出了一种新的双分支框架（EPP-Net），通过后期融合策略有效地结合两种高级特征以实现更好的动作识别。

    Jan, 2024

  • 利用姿态、动作和外观进行动作分类和检测的串联多流网络

    本文提出了一种网络体系结构，计算和整合了人类动作识别中最重要的视觉线索：姿态，运动和原始图像，并引入了马尔科夫链模型进行融合，在 HMDB51，J-HMDB 和 NTU RGB+D 数据集上达到最先进的动作分类性能和在 UCF101 和 J-HMDB 数据集上达到最先进的时空动作定位结果。

    Apr, 2017

  • 基于姿态的双流关系网络用于视频动作识别

    提出了基于姿态的双流关系网络（PSRN）来解决目前基于姿态的动作识别存在的问题，该方法包括两个流，一个流用于建模目标 2D 人体姿势序列的时间动态，另一个流用于建模与动作相关的物体，通过姿态对象关系网络建模了人体姿态和动作相关物体之间的关系，在 Sub-JHMDB 和 PennAction 数据集上取得了最新的性能表现。

    May, 2018

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 关于利用三维手势姿势进行动作识别的实用性研究

    手势建模是行为识别的一种未充分探索的方式。我们提出了一种新颖的多模态变换器 HandFormer 来高效地对手势和场景语义进行建模，该方法在处理效率和准确率方面具有显著优势，并在自我中心行为识别方面取得了最新的最好性能。

    Mar, 2024

  • 基于骨架的动作理解的统一多模态无监督表示学习

    无监督预训练及早融合策略的统一多模态无监督表示学习框架（UmURL）旨在提取骨架输入的统一表示，通过特征分解和对齐保证多模态特征包含各模态的完整语义，并在各种场景中实现鲁棒动作理解。该框架在三个大规模数据集上取得了新的多种下游任务场景中骨架 - based 动作表示学习的最先进性能。

    Nov, 2023

  • 深度视频中的多模态多部分学习与动作识别

    提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

    Jul, 2015

  • 使用双流卷积网络的 RGB 和姿态信息进行细粒度动作检测

    本论文提出了一种基于卷积神经网络和注意机制的两流网络方法，用于对乒乓球发球进行分类和检测，其中使用了原始 RGB 数据和 MMPose 工具箱计算的姿势信息，采用后期融合方法进行性能提升，并在 TTStroke-21 数据集上进一步评估，对飞球分类的准确率提高了到 87.3％，而检测结果虽没有超过基准，但仍可达到 0.349 的 IoU 和 0.110 的 mAP。

    Feb, 2023

  • IntegralAction: 基于姿态驱动的特征集成，实现视频中人类行为的稳健识别

    该研究提出了一种动作识别方法，通过动态组合外貌信息和姿势信息，实现在情境内外的动作视频数据集上高度鲁棒的性能表现。

    Jul, 2020