Oct, 2020

基于图卷积的骨架动作识别基准模型：更强，更快，更易理解

PDF
TL;DR本论文提出一种基于图卷积网络（GCN）的高效却强大的基线模型，该模型融合了多输入分支（MIB）、残差 GCN（ResGCN）和全局部分注意力机制（PartAtt）等三个关键组件，能够更加有效地提取具有区分度的骨骼动作特征，并在大规模数据集上取得了较高的分类性能比其他最先进的方法更好的性能。
skeleton-based action recognitiongraph convolutional networkresidual gcnpart-wise attentionlarge-scale datasets
发现论文，激发创造
  • 基于骨架的动作识别：构建更强更快的基准线

    研究了基于骨架动作识别中如何提取骨架联结的区分特征所面临的问题，提出了一种基于图卷积网络的高效的 GCN 基线。通过提出的复合扩展策略，在 NTU RGB+D 60 和 120 数据集上，其 EfficientGCN-B4 基线性能超越其他 SOTA 模型，且模型规模更小、训练速度更快。

    Jun, 2021

  • 用于鲁棒的基于骨架的动作识别的 Richly Activated Graph Convolutional Network

    该论文提出了基于骨架的动作识别方法，采用了多流图卷积网络来提高模型的鲁棒性，学习到所有骨架关节的最优特征，显著减轻了由于遮挡和干扰骨架关节导致的性能下降。

    Aug, 2020

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 克服拓扑集成视野：通过重新定义骨架拓扑感知增强基于骨架的动作识别

    本文研究骨骼动作识别中图卷积网络 (Graph Convolutional Networks, GCNs) 的局限性，提出了一种新的三合一策略：利用图距离编码骨骼连接，强调骨骼序列的时间平均值，以及利用 BlockGC 进行关系配置的变化修正，提高模型性能和准确率。BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色，参数减少了 40% 以上。

    May, 2023

  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 基于不完整骨架的丰富激活图卷积神经网络动作识别

    本研究提出了富激活 GCN（RA-GCN）的多流图卷积网络，从尚未激活的关节中学习特征，以增强不完整骨架的动作识别模型的稳健性。与现有方法相比，RA-GCN 在 NTU RGB+D 数据集上实现了可比较的性能，并显着减轻了虚拟遮挡数据集的性能下降。

    May, 2019

  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • 基于骨架的多流自适应图卷积网络动作识别

    本文提出了一种多流注意力增强的自适应图卷积神经网络 (MS-AAGCN)，用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构，并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息，结果在大规模数据集 NTU-RGBD 和 Kinetics-Skeleton 上都超过了现有技术水平。

    Dec, 2019

  • 面向骨架的高效拓扑卷积神经网络用于动作识别

    本文提出了一种基于纯 CNN 架构的新型拓扑感知 CNN (Ta-CNN)，通过引入跨通道特征增强模块，可以有效增强拓扑特征，证明了 GCNs 的拓扑模型能力也可以通过 CNN 来实现。同时，通过独特的 SkeletonMix 策略，进一步提高了性能。在四个广泛使用的数据集上进行了广泛的实验，结果表明 Ta-CNN 优于现有的基于 CNN 的方法，在 GFLOPs 和参数要求上明显优于 GCN-based 方法具有可比性的性能。

    Dec, 2021

  • 基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

    通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。

    Apr, 2024