Apr, 2024

基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

PDF
TL;DR通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。
gesture recognitiongraph convolutional network (gcn)self-attentionmulti-scale spatial-temporal self-attention (msst)-gcnhigh-level spatial-temporal representations
发现论文，激发创造
  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • 基于骨架的动作识别的多尺度时空图网络

    该论文主要介绍了一种新型的骨骼动作识别模型叫做 TGN，结合了多尺度图策略来提取骨骼序列的时空特征，得到更好的实验结果。

    Dec, 2020

  • 基于骨架的多流自适应图卷积网络动作识别

    本文提出了一种多流注意力增强的自适应图卷积神经网络 (MS-AAGCN)，用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构，并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息，结果在大规模数据集 NTU-RGBD 和 Kinetics-Skeleton 上都超过了现有技术水平。

    Dec, 2019

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • STEP CATFormer：基于空时有效部位交叉注意力变换器的基于骨骼的动作识别

    我们通过引入图卷积网络（GCN）和时序注意力转换器，提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络，用于骨骼动作识别和特征提取。

    Dec, 2023

  • 基于骨骼的动作识别的时空图卷积

    本文提出了一种称为 Spatio-Temporal Graph Convolution (STGC) 的方法，用于动作识别中的骨架，该方法组合了本地卷积过滤器的成功和自回归移动平均的序列学习能力，通过递归地进行多尺度局部图卷积过滤器构建。实验表明 STGC 模型的有效性和优于现有技术的改进。

    Feb, 2018

  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019

  • 基于骨架的动作识别的时序图建模

    本篇文章介绍了一种称之为 Temporal Enhanced Graph Convolutional Network (TE-GCN) 的新模型，用于构建骨骼动作识别应用中的时间关系图，以提取骨架序列的时间动态。文章对两个广泛使用的大型数据集进行了广泛的实验，在动作识别中取得了最先进的性能，同时通过多头机制进一步探索时间关系图。

    Dec, 2020

  • 面向骨架的高效拓扑卷积神经网络用于动作识别

    本文提出了一种基于纯 CNN 架构的新型拓扑感知 CNN (Ta-CNN)，通过引入跨通道特征增强模块，可以有效增强拓扑特征，证明了 GCNs 的拓扑模型能力也可以通过 CNN 来实现。同时，通过独特的 SkeletonMix 策略，进一步提高了性能。在四个广泛使用的数据集上进行了广泛的实验，结果表明 Ta-CNN 优于现有的基于 CNN 的方法，在 GFLOPs 和参数要求上明显优于 GCN-based 方法具有可比性的性能。

    Dec, 2021