Nov, 2020

JOLO-GCN：挖掘基于骨架的动作识别的联合中心轻量级信息

PDF
TL;DR本文介绍了一种新的骨骼动作识别框架，名为 JOLO-GCN，它将人类姿态骨骼和轻便的联合信息结合起来，在两个流图卷积网络中使用联合对准光学流贴片（JFP）来捕捉每个关节周围的局部细微动作作为关键的中心视觉信息，这种组合方案有效地提高了性能，同时保持了计算和存储开销低。
发现论文，激发创造
  • 用于鲁棒的基于骨架的动作识别的 Richly Activated Graph Convolutional Network

    该论文提出了基于骨架的动作识别方法，采用了多流图卷积网络来提高模型的鲁棒性，学习到所有骨架关节的最优特征，显著减轻了由于遮挡和干扰骨架关节导致的性能下降。

    Aug, 2020

  • 基于部分特征的图卷积神经网络用于动作识别

    本文提出了一种基于部件图卷积网络的人体动作识别模型，该模型将骨骼图分为四个子图，并使用相对坐标和时间位移代替 3D 关节点特征，相对于使用整个骨骼图的模型，能够提高识别性能，实现了对挑战性基准数据集 NTURGB+D 和 HDM05 的骨骼动作识别的最先进水平。

    Sep, 2018

  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于骨骼的动作识别再探讨

    本文提出了基于 3D 热力图堆叠的 PoseC3D 方法，相较于基于图卷积网络的方法，能够更有效地学习时空特征、更具鲁棒性，并且适用于多人场景，同时在处理过程中也更加易于与其它视觉模态进行结合。在四个具有挑战性的数据集中，PoseC3D 方法均取得了卓越表现。

    Apr, 2021

  • 基于不完整骨架的丰富激活图卷积神经网络动作识别

    本研究提出了富激活 GCN（RA-GCN）的多流图卷积网络，从尚未激活的关节中学习特征，以增强不完整骨架的动作识别模型的稳健性。与现有方法相比，RA-GCN 在 NTU RGB+D 数据集上实现了可比较的性能，并显着减轻了虚拟遮挡数据集的性能下降。

    May, 2019

  • 克服拓扑集成视野：通过重新定义骨架拓扑感知增强基于骨架的动作识别

    本文研究骨骼动作识别中图卷积网络 (Graph Convolutional Networks, GCNs) 的局限性，提出了一种新的三合一策略：利用图距离编码骨骼连接，强调骨骼序列的时间平均值，以及利用 BlockGC 进行关系配置的变化修正，提高模型性能和准确率。BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色，参数减少了 40% 以上。

    May, 2023

  • 基于语言知识辅助的骨骼动作识别表示学习

    研究了人类理解和识别他人动作的复杂神经科学问题，提出了一种利用大规模语言模型知识辅助的图卷积网络（LA-GCN）来进行骨架动作识别，采用先验全局关系和先验类别关系提供额外监督，另外使用多跳注意力图卷积以提高拓扑建模中的信息传递效率。在 NTU RGB+D，NTU RGB+D 120 和 NW-UCLA 数据集上实现了最先进的结果。

    May, 2023

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019