基于骨架的动作识别:构建更强更快的基准线
本文研究通过骨架数据识别人体骨骼运动的方法,提出了基于图边卷积神经网络的方法,通过对骨骼边缘的空间和时间邻居关系的探究来识别人体运动,实验结果表明该方法可以更有效地识别人体运动,且融合节点卷积和图边卷积的混合模型可以进一步提高性能。
May, 2018
本研究提出了一种新的双流自适应图卷积网络(2s-AGCN),用于基于骨架的动作识别,通过数据驱动的方法学习网络拓扑结构,同时建立了包含一阶和二阶信息的双流框架,通过对NTU-RGBD和Kinetics-Skeleton数据集上的实验,证明了本模型的优越性。
May, 2018
提出了一种基于编码器-解码器结构的 A-link 推断模块来捕捉动作特定的潜在依赖关系,即动作链接,并将其与现有的骨骼图扩展以表示更高阶依赖关系,即结构链接,进而将两种类型的链接组合成广义骨骼图卷积网络(AS-GCN),用于动作识别,并在 NTU-RGB + D 和 Kinetics 两个骨骼数据集上进行验证,并通过与现有方法的比较实现了一致的显著改进。同时,AS-GCN 在未来姿态预测方面也表现出了良好的结果。
Apr, 2019
提出了一种自动设计的图卷积网络,用于基于骨架的动作识别,该网络通过动态图模块和多次跳跃模块增加了空间-时间相关性的表示能力,使用采样和记忆效率的进化策略搜索出优化架构,结果表明其效果优于现有图卷积网络。
Nov, 2019
本文提出了一种多流注意力增强的自适应图卷积神经网络(MS-AAGCN),用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构,并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息,结果在大规模数据集NTU-RGBD和Kinetics-Skeleton上都超过了现有技术水平。
Dec, 2019
本文提出了反馈图卷积网络(FGCN)来进行骨架动作识别,FGCN 通过多阶段的时间采样策略和基于稠密连接的反馈图卷积模块,实现了全局空间-时间特征的建模,并独创性地提出了早期预测的概念来引导后续特征的学习,实验结果在三个数据集上表现出了最优的效果。
Mar, 2020
本论文提出一种基于图卷积网络(GCN)的高效却强大的基线模型,该模型融合了多输入分支(MIB)、残差 GCN(ResGCN)和全局部分注意力机制(PartAtt)等三个关键组件,能够更加有效地提取具有区分度的骨骼动作特征,并在大规模数据集上取得了较高的分类性能比其他最先进的方法更好的性能。
Oct, 2020
本文提出了一个骨架动作识别的图形对比学习框架(SkeletonGCL)来探究跨所有序列的全局上下文,在多个上下文尺度上进行图对比学习,从而建立了一个新的训练范式,并可以无缝地融合到当前GCNs中,在NTU60,NTU120和NW-UCLA基准上获得了一致的改进。
Jan, 2023
本文探讨了基于骨架的动作识别在人类动作识别数据集方面的优势,以及深度学习算法在该领域中的应用。同时,研究表明,通过适当的训练技巧、数据增强和优化器,卷积神经网络可以达到与图神经网络相媲美的效果。实验在NTU-60数据集上取得了95%的准确度。
Jan, 2023
介绍了通过重参数化和超参数化技术,分别提出了两种新的高性能推理图卷积网络 HPI-GCN-RP 和 HPI-GCN-OP,其中 HPI-GCN-OP 在维持相同准确率的情况下,比 HD-GCN 快 4.5 倍,同时在两个基于骨架的动作识别数据集上实验表明了我们的方法的有效性。
May, 2023