基于图像对比学习的基于骨架的动作识别
本研究提出了一种新的双流自适应图卷积网络(2s-AGCN),用于基于骨架的动作识别,通过数据驱动的方法学习网络拓扑结构,同时建立了包含一阶和二阶信息的双流框架,通过对NTU-RGBD和Kinetics-Skeleton数据集上的实验,证明了本模型的优越性。
May, 2018
提出了一种基于编码器-解码器结构的 A-link 推断模块来捕捉动作特定的潜在依赖关系,即动作链接,并将其与现有的骨骼图扩展以表示更高阶依赖关系,即结构链接,进而将两种类型的链接组合成广义骨骼图卷积网络(AS-GCN),用于动作识别,并在 NTU-RGB + D 和 Kinetics 两个骨骼数据集上进行验证,并通过与现有方法的比较实现了一致的显著改进。同时,AS-GCN 在未来姿态预测方面也表现出了良好的结果。
Apr, 2019
提出了一种自动设计的图卷积网络,用于基于骨架的动作识别,该网络通过动态图模块和多次跳跃模块增加了空间-时间相关性的表示能力,使用采样和记忆效率的进化策略搜索出优化架构,结果表明其效果优于现有图卷积网络。
Nov, 2019
本文提出了一种多流注意力增强的自适应图卷积神经网络(MS-AAGCN),用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构,并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息,结果在大规模数据集NTU-RGBD和Kinetics-Skeleton上都超过了现有技术水平。
Dec, 2019
本文提出了反馈图卷积网络(FGCN)来进行骨架动作识别,FGCN 通过多阶段的时间采样策略和基于稠密连接的反馈图卷积模块,实现了全局空间-时间特征的建模,并独创性地提出了早期预测的概念来引导后续特征的学习,实验结果在三个数据集上表现出了最优的效果。
Mar, 2020
本文提出了Dynamic GCN, 一种基于Graph Convolutional Networks的方法,通过引入Contextencoding Network (CeN)来自动学习骨架拓扑结构,CeN是一个轻量级且有效的卷积神经网络,能够嵌入到GCN中,该方法在NTU-RGB+D、NTU-RGB+D 120和Skeleton-Kinetics三个基准测试集上实现了当前的最佳表现。
Jul, 2020
本论文提出一种基于图卷积网络(GCN)的高效却强大的基线模型,该模型融合了多输入分支(MIB)、残差 GCN(ResGCN)和全局部分注意力机制(PartAtt)等三个关键组件,能够更加有效地提取具有区分度的骨骼动作特征,并在大规模数据集上取得了较高的分类性能比其他最先进的方法更好的性能。
Oct, 2020
研究了基于骨架动作识别中如何提取骨架联结的区分特征所面临的问题,提出了一种基于图卷积网络的高效的GCN基线。通过提出的复合扩展策略,在NTU RGB+D 60和120数据集上,其EfficientGCN-B4基线性能超越其他SOTA模型,且模型规模更小、训练速度更快。
Jun, 2021
本文提出了一种名为Hierarchical Graph Convolutional skeleton Transformer (HGCT)的新型架构,通过引入Disentangled Spatiotemporal Transformer块,利用全局时空注意力和本地信息增强相互协同,以解决基于骨架的动作识别中的邻域限制和空间时间特征表示相互干扰等问题,同时具有计算效率高、解释性好等优点。
Sep, 2021
本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型,通过分解相应的局部图卷积为一系列子图卷积,形成一个分层残差体系结构,使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系,从而实现骨骼动作识别,该模型在三个基准数据集上表现出了显著的性能。
Jun, 2022