基于时空Inception图卷积网络的基于骨架的动作识别
本研究提出了一种新的双流自适应图卷积网络(2s-AGCN),用于基于骨架的动作识别,通过数据驱动的方法学习网络拓扑结构,同时建立了包含一阶和二阶信息的双流框架,通过对NTU-RGBD和Kinetics-Skeleton数据集上的实验,证明了本模型的优越性。
May, 2018
提出了一种自动设计的图卷积网络,用于基于骨架的动作识别,该网络通过动态图模块和多次跳跃模块增加了空间-时间相关性的表示能力,使用采样和记忆效率的进化策略搜索出优化架构,结果表明其效果优于现有图卷积网络。
Nov, 2019
本文提出了一种多流注意力增强的自适应图卷积神经网络(MS-AAGCN),用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构,并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息,结果在大规模数据集NTU-RGBD和Kinetics-Skeleton上都超过了现有技术水平。
Dec, 2019
本文提出了Dynamic GCN, 一种基于Graph Convolutional Networks的方法,通过引入Contextencoding Network (CeN)来自动学习骨架拓扑结构,CeN是一个轻量级且有效的卷积神经网络,能够嵌入到GCN中,该方法在NTU-RGB+D、NTU-RGB+D 120和Skeleton-Kinetics三个基准测试集上实现了当前的最佳表现。
Jul, 2020
本文提出了一种名为Hierarchical Graph Convolutional skeleton Transformer (HGCT)的新型架构,通过引入Disentangled Spatiotemporal Transformer块,利用全局时空注意力和本地信息增强相互协同,以解决基于骨架的动作识别中的邻域限制和空间时间特征表示相互干扰等问题,同时具有计算效率高、解释性好等优点。
Sep, 2021
本文提出了一种基于纯CNN架构的新型拓扑感知CNN(Ta-CNN),通过引入跨通道特征增强模块,可以有效增强拓扑特征,证明了GCNs的拓扑模型能力也可以通过CNN来实现。同时,通过独特的SkeletonMix策略,进一步提高了性能。在四个广泛使用的数据集上进行了广泛的实验,结果表明Ta-CNN优于现有的基于CNN的方法,在GFLOPs和参数要求上明显优于GCN-based方法具有可比性的性能。
Dec, 2021
本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型,通过分解相应的局部图卷积为一系列子图卷积,形成一个分层残差体系结构,使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系,从而实现骨骼动作识别,该模型在三个基准数据集上表现出了显著的性能。
Jun, 2022
本文研究骨骼动作识别中图卷积网络(Graph Convolutional Networks, GCNs)的局限性,提出了一种新的三合一策略:利用图距离编码骨骼连接,强调骨骼序列的时间平均值,以及利用BlockGC进行关系配置的变化修正,提高模型性能和准确率。BlockGCN模型在NTU RGB+D 120数据集上表现出色,参数减少了40%以上。
May, 2023
本研究解决了骨骼数据表示以及图卷积网络中出现的过平滑问题。提出了一种名为Spatial-Structural GCN(SpSt-GCN)的双流图卷积方法,通过利用人体的拓扑结构和边缘节点序列的相似性进行信息聚合与差异化,从而提高细粒度活动识别的准确性。实验表明,该方法在NTU RGB+D和NTU RGB+D 120数据集上表现良好,显示出高效性和灵活性。
Jul, 2024