基于自注意力网络的基于骨骼的人体动作识别
本研究提出了一种基于RNNs和LSTM的空间和时间关注模型,用于从骨架数据中识别人类动作,实验结果表明该模型在SBU和NTU数据集上均取得了很好的效果。
Nov, 2016
本文提出了一种基于卷积神经网络的框架用于骨骼动作识别,通过自动选择重要的骨骼节点和提取时间段提案进行动作分类和检测, 在NTU RGB + D数据集上获得了89.3%的验证准确性和93.7%的mAP。
Apr, 2017
本研究旨在提出一种时间和空间相结合的新方法用于解决基于骨架的动作识别中的挑战,该方法利用内存关注网络(MANs)并将时间和空间校准模块与卷积神经网络(CNNs)相结合,最终在四个基准数据集(NTU RGB + D,HDM05,SYSU-3D和UT-Kinect)上实现了最佳性能。
Apr, 2018
本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络(AGC-LSTM)的方法,它不仅可以在时间与空间领域之间探索联合关系,还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性, 同时在空间和时间特征上提取关键特征,该方法在两个数据集上的表现均优于现有的最先进方法。
Feb, 2019
本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法,使用自注意力机制成功提取了骨骼运动及其相关性的信息,与其他同类算法相比在多个大规模数据集上表现出更好的精度。
Aug, 2020
本文提出了一种新的空时变换器网络(ST-TR),该网络利用Transformer自我注意机制对3D骨架中的关节之间的依赖关系进行建模。空间自我注意模块(SSA)用于理解不同身体部位之间的帧内相互作用,而时间自我注意模块(TSA)用于建模帧间的相关性。两个模块在两个流网络中被结合使用,对NTU-RGB + D 60和NTU-RGB + D 120上的相同输入数据优于同类基准模型。
Dec, 2020
该研究提出了一种基于骨架的动作识别框架,利用空间-时间梯度来聚焦相关的空间-时间特征,并利用可学习的梯度增强和实例依赖邻接矩阵建立高阶空间-时间动态模型,并通过基于梯度的空间-时间注意力来指导分类器去关注何时以及何处,以优化堆叠的STF模块,该方法在几个数据集上呈现出具有竞争力的结果。
Feb, 2022
本文探讨了基于骨架的动作识别在人类动作识别数据集方面的优势,以及深度学习算法在该领域中的应用。同时,研究表明,通过适当的训练技巧、数据增强和优化器,卷积神经网络可以达到与图神经网络相媲美的效果。实验在NTU-60数据集上取得了95%的准确度。
Jan, 2023
我们通过引入图卷积网络(GCN)和时序注意力转换器,提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络,用于骨骼动作识别和特征提取。
Dec, 2023
通过使用自注意力图卷积网络(GCN)技术,本研究提出了一种混合模型,名为多尺度时空自注意力网络(MSST-GCN),以有效提高建模能力,并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系,利用自时间注意力模块来研究节点帧之间的相关性。随后,通过多尺度卷积网络捕获节点的长程时空依赖关系,将它们组合成高层次的时空表示,并使用softmax分类器输出预测的动作。
Apr, 2024