May, 2023

基于语言知识辅助的骨骼动作识别表示学习

PDF
TL;DR研究了人类理解和识别他人动作的复杂神经科学问题，提出了一种利用大规模语言模型知识辅助的图卷积网络（LA-GCN）来进行骨架动作识别，采用先验全局关系和先验类别关系提供额外监督，另外使用多跳注意力图卷积以提高拓扑建模中的信息传递效率。在 NTU RGB+D，NTU RGB+D 120 和 NW-UCLA 数据集上实现了最先进的结果。
action recognitionneural networksgraph convolution networkprior knowledgemulti-hop attention
发现论文，激发创造
  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 基于骨架的动作识别中学习判别性表示

    本文提出了一个辅助的特征细化头（FR Head），通过空间 - 时间分解和对比特征细化来识别骨架的歧义样本，从而强化对多层的监督，并在多个数据集上进行了广泛的实验，得到了与最先进方法相竞争的结果。

    Mar, 2023

  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于动作骨架的行为识别的动作 - 构造图卷积网络

    提出了一种基于编码器 - 解码器结构的 A-link 推断模块来捕捉动作特定的潜在依赖关系，即动作链接，并将其与现有的骨骼图扩展以表示更高阶依赖关系，即结构链接，进而将两种类型的链接组合成广义骨骼图卷积网络（AS-GCN），用于动作识别，并在 NTU-RGB + D 和 Kinetics 两个骨骼数据集上进行验证，并通过与现有方法的比较实现了一致的显著改进。同时，AS-GCN 在未来姿态预测方面也表现出了良好的结果。

    Apr, 2019

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 基于部分特征的图卷积神经网络用于动作识别

    本文提出了一种基于部件图卷积网络的人体动作识别模型，该模型将骨骼图分为四个子图，并使用相对坐标和时间位移代替 3D 关节点特征，相对于使用整个骨骼图的模型，能够提高识别性能，实现了对挑战性基准数据集 NTURGB+D 和 HDM05 的骨骼动作识别的最先进水平。

    Sep, 2018

  • 用于鲁棒的基于骨架的动作识别的 Richly Activated Graph Convolutional Network

    该论文提出了基于骨架的动作识别方法，采用了多流图卷积网络来提高模型的鲁棒性，学习到所有骨架关节的最优特征，显著减轻了由于遮挡和干扰骨架关节导致的性能下降。

    Aug, 2020

  • 基于卷积神经网络的基于骨架的人体动作识别

    本文探讨了基于骨架的动作识别在人类动作识别数据集方面的优势，以及深度学习算法在该领域中的应用。同时，研究表明，通过适当的训练技巧、数据增强和优化器，卷积神经网络可以达到与图神经网络相媲美的效果。实验在 NTU-60 数据集上取得了 95% 的准确度。

    Jan, 2023

  • 基于不完整骨架的丰富激活图卷积神经网络动作识别

    本研究提出了富激活 GCN（RA-GCN）的多流图卷积网络，从尚未激活的关节中学习特征，以增强不完整骨架的动作识别模型的稳健性。与现有方法相比，RA-GCN 在 NTU RGB+D 数据集上实现了可比较的性能，并显着减轻了虚拟遮挡数据集的性能下降。

    May, 2019