ICCVJul, 2021

基于骨架的动作识别的通道感知拓扑细化图卷积

PDF
TL;DR本文提出了一种名为 CTR-GC 的新颖通道逐层细化图卷积方法，它可以动态学习不同的拓扑并有效地聚合骨架动作识别中不同通道的联合特征。CTR-GC 模型通过学习所有通道的通用拓扑以及为每个通道提供通道特定的关联来建模通道的拓扑结构。该方法引入了少量的额外参数，并显著降低了建模通道拓扑结构的难度。此外，CTR-GC 通过将图卷积重新定义为统一形式，放宽了图卷积的严格约束，导致其表示能力更强。结合时间建模模块，我们开发了一种强大的图卷积网络 CTR-GCN，它在 NTU RGB + D、NTU RGB + D 120 和 NW-UCLA 数据集上明显优于最先进的方法。
graph convolutional networkstopology refinementjoint featuresskeleton-based action recognitiontemporal modeling
发现论文，激发创造
  • 面向骨架的高效拓扑卷积神经网络用于动作识别

    本文提出了一种基于纯 CNN 架构的新型拓扑感知 CNN (Ta-CNN)，通过引入跨通道特征增强模块，可以有效增强拓扑特征，证明了 GCNs 的拓扑模型能力也可以通过 CNN 来实现。同时，通过独特的 SkeletonMix 策略，进一步提高了性能。在四个广泛使用的数据集上进行了广泛的实验，结果表明 Ta-CNN 优于现有的基于 CNN 的方法，在 GFLOPs 和参数要求上明显优于 GCN-based 方法具有可比性的性能。

    Dec, 2021

  • STEP CATFormer：基于空时有效部位交叉注意力变换器的基于骨骼的动作识别

    我们通过引入图卷积网络（GCN）和时序注意力转换器，提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络，用于骨骼动作识别和特征提取。

    Dec, 2023

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 克服拓扑集成视野：通过重新定义骨架拓扑感知增强基于骨架的动作识别

    本文研究骨骼动作识别中图卷积网络 (Graph Convolutional Networks, GCNs) 的局限性，提出了一种新的三合一策略：利用图距离编码骨骼连接，强调骨骼序列的时间平均值，以及利用 BlockGC 进行关系配置的变化修正，提高模型性能和准确率。BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色，参数减少了 40% 以上。

    May, 2023

  • Dynamic GCN：基于骨架动作识别的上下文增强拓扑学习

    本文提出了 Dynamic GCN, 一种基于 Graph Convolutional Networks 的方法，通过引入 Contextencoding Network (CeN) 来自动学习骨架拓扑结构，CeN 是一个轻量级且有效的卷积神经网络，能够嵌入到 GCN 中，该方法在 NTU-RGB+D、NTU-RGB+D 120 和 Skeleton-Kinetics 三个基准测试集上实现了当前的最佳表现。

    Jul, 2020

  • 基于骨架的动作识别的双流自适应图卷积网络

    本研究提出了一种新的双流自适应图卷积网络 (2s-AGCN)，用于基于骨架的动作识别，通过数据驱动的方法学习网络拓扑结构，同时建立了包含一阶和二阶信息的双流框架，通过对 NTU-RGBD 和 Kinetics-Skeleton 数据集上的实验，证明了本模型的优越性。

    May, 2018

  • 用于鲁棒的基于骨架的动作识别的 Richly Activated Graph Convolutional Network

    该论文提出了基于骨架的动作识别方法，采用了多流图卷积网络来提高模型的鲁棒性，学习到所有骨架关节的最优特征，显著减轻了由于遮挡和干扰骨架关节导致的性能下降。

    Aug, 2020

  • 基于骨架的动作识别的时序图建模

    本篇文章介绍了一种称之为 Temporal Enhanced Graph Convolutional Network (TE-GCN) 的新模型，用于构建骨骼动作识别应用中的时间关系图，以提取骨架序列的时间动态。文章对两个广泛使用的大型数据集进行了广泛的实验，在动作识别中取得了最先进的性能，同时通过多头机制进一步探索时间关系图。

    Dec, 2020

  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • 骨架动作识别的反馈图卷积网络

    本文提出了反馈图卷积网络（FGCN）来进行骨架动作识别，FGCN 通过多阶段的时间采样策略和基于稠密连接的反馈图卷积模块，实现了全局空间 - 时间特征的建模，并独创性地提出了早期预测的概念来引导后续特征的学习，实验结果在三个数据集上表现出了最优的效果。

    Mar, 2020