AAAIDec, 2021

面向骨架的高效拓扑卷积神经网络用于动作识别

PDF
TL;DR本文提出了一种基于纯 CNN 架构的新型拓扑感知 CNN (Ta-CNN)，通过引入跨通道特征增强模块，可以有效增强拓扑特征，证明了 GCNs 的拓扑模型能力也可以通过 CNN 来实现。同时，通过独特的 SkeletonMix 策略，进一步提高了性能。在四个广泛使用的数据集上进行了广泛的实验，结果表明 Ta-CNN 优于现有的基于 CNN 的方法，在 GFLOPs 和参数要求上明显优于 GCN-based 方法具有可比性的性能。
发现论文，激发创造
  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 克服拓扑集成视野：通过重新定义骨架拓扑感知增强基于骨架的动作识别

    本文研究骨骼动作识别中图卷积网络 (Graph Convolutional Networks, GCNs) 的局限性，提出了一种新的三合一策略：利用图距离编码骨骼连接，强调骨骼序列的时间平均值，以及利用 BlockGC 进行关系配置的变化修正，提高模型性能和准确率。BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色，参数减少了 40% 以上。

    May, 2023

  • 基于骨架的动作识别的通道感知拓扑细化图卷积

    本文提出了一种名为 CTR-GC 的新颖通道逐层细化图卷积方法，它可以动态学习不同的拓扑并有效地聚合骨架动作识别中不同通道的联合特征。CTR-GC 模型通过学习所有通道的通用拓扑以及为每个通道提供通道特定的关联来建模通道的拓扑结构。该方法引入了少量的额外参数，并显著降低了建模通道拓扑结构的难度。此外，CTR-GC 通过将图卷积重新定义为统一形式，放宽了图卷积的严格约束，导致其表示能力更强。结合时间建模模块，我们开发了一种强大的图卷积网络 CTR-GCN，它在 NTU RGB + D、NTU RGB + D 120 和 NW-UCLA 数据集上明显优于最先进的方法。

    Jul, 2021

  • Dynamic GCN：基于骨架动作识别的上下文增强拓扑学习

    本文提出了 Dynamic GCN, 一种基于 Graph Convolutional Networks 的方法，通过引入 Contextencoding Network (CeN) 来自动学习骨架拓扑结构，CeN 是一个轻量级且有效的卷积神经网络，能够嵌入到 GCN 中，该方法在 NTU-RGB+D、NTU-RGB+D 120 和 Skeleton-Kinetics 三个基准测试集上实现了当前的最佳表现。

    Jul, 2020

  • 基于骨架的动作识别的双流自适应图卷积网络

    本研究提出了一种新的双流自适应图卷积网络 (2s-AGCN)，用于基于骨架的动作识别，通过数据驱动的方法学习网络拓扑结构，同时建立了包含一阶和二阶信息的双流框架，通过对 NTU-RGBD 和 Kinetics-Skeleton 数据集上的实验，证明了本模型的优越性。

    May, 2018

  • 用于鲁棒的基于骨架的动作识别的 Richly Activated Graph Convolutional Network

    该论文提出了基于骨架的动作识别方法，采用了多流图卷积网络来提高模型的鲁棒性，学习到所有骨架关节的最优特征，显著减轻了由于遮挡和干扰骨架关节导致的性能下降。

    Aug, 2020

  • 基于骨架的多流自适应图卷积网络动作识别

    本文提出了一种多流注意力增强的自适应图卷积神经网络 (MS-AAGCN)，用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构，并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息，结果在大规模数据集 NTU-RGBD 和 Kinetics-Skeleton 上都超过了现有技术水平。

    Dec, 2019

  • 基于骨架的动作识别的多尺度时空图网络

    该论文主要介绍了一种新型的骨骼动作识别模型叫做 TGN，结合了多尺度图策略来提取骨骼序列的时空特征，得到更好的实验结果。

    Dec, 2020

  • 基于拓扑感知的骨架动作识别的多层感知机

    基于骨骼的动作识别中，提出了一种新颖的基于空间拓扑门控单元（STGU）的多层感知器（MLP）模型，通过捕捉编码所有关节之间空间依赖关系的共同出现的拓扑特征来实现对样本特定且完全独立的逐点拓扑注意力的建模，并在三个大规模数据集上取得了竞争性的性能，提高了 62.5％的参数效率，推动了实时动作识别的前沿。

    Aug, 2023

  • 基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

    通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。

    Apr, 2024