基于LSTM和CNN的骨架动作识别
提出了一种基于骨架的行为识别模型,使用递归神经网络(RNNs)与长短时记忆(LSTM)建立深度学习网络,学习并自动建模骨架关节之间的协同特征,在三个人类行为识别数据集上具有良好的效果。
Mar, 2016
本研究提出了一种基于RNN的学习方法,通过树形结构遍历骨骼图来分析3D运动数据的时空依赖关系,并引入新的门控机制来处理3D骨骼数据中的噪声和遮挡,从而实现对动作数据的高效分析及提取。
Jul, 2016
该论文提出了一种基于图像分类的骨架视频动作识别方法,通过图像映射和卷积神经网络构建实现了在多个数据集上的最新成果。
Apr, 2017
本文提出了一种基于卷积神经网络的框架用于骨骼动作识别,通过自动选择重要的骨骼节点和提取时间段提案进行动作分类和检测, 在NTU RGB + D数据集上获得了89.3%的验证准确性和93.7%的mAP。
Apr, 2017
本文介绍了一种基于深度学习和骨骼信息的动作识别方法,该方法采用CNN代替RNN进行空时信息的提取和处理,将五种空间骨骼特征编码为图像并有效提高了3D人体动作分析的精度。
May, 2017
本文利用3D CNN提取基于骨架的动作识别的时空信息与深度特征,探讨其与RNN的互补性和噪声下的鲁棒性,并在SmartHome数据集和NTU RGB-D数据集上获得优异的表现。
May, 2017
本论文提出了一种基于骨骼的人体动作识别方法,该方法采用循环神经网络建模体关节的3D位置配置之间的时间依赖关系,利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源,并提出了一种有效的基于树状结构的遍历框架,以处理Kinect骨架数据中的噪声。该方法采用了新的LSTM模块中的门机制,通过学习连续数据的可靠性,并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响,从而处理骨架数据中的噪声,并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在7个具有挑战性的基准数据集上具有很好的效果。
Jun, 2017
本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别,实现了对每个骨架序列的每帧中信息的有选择性的聚焦,具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型,并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
Jul, 2017
本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络(AGC-LSTM)的方法,它不仅可以在时间与空间领域之间探索联合关系,还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性, 同时在空间和时间特征上提取关键特征,该方法在两个数据集上的表现均优于现有的最先进方法。
Feb, 2019
这篇研究论文介绍了从基于深度学习架构的角度全面讨论使用三维骨架数据进行动作识别,并详细介绍了基于循环神经网络(RNN)-based、卷积神经网络(CNN)-based 和图卷积网络(GCN)-based的主流动作识别技术,并介绍了包括NTU-RGB+D在内的多个数据集和算法。
Feb, 2020