提出了一种基于骨架的行为识别模型,使用递归神经网络(RNNs)与长短时记忆(LSTM)建立深度学习网络,学习并自动建模骨架关节之间的协同特征,在三个人类行为识别数据集上具有良好的效果。
Mar, 2016
本文研究了如何从流媒体骨架数据中实时监测并识别出人类动作,并提出了一种基于神经网络的多任务分类回归模型来更准确地定位动作类型和时间位置信息,该模型具有较高的计算效率和准确性。
Apr, 2016
本研究提出了一种基于RNNs和LSTM的空间和时间关注模型,用于从骨架数据中识别人类动作,实验结果表明该模型在SBU和NTU数据集上均取得了很好的效果。
Nov, 2016
本文提出了一种新型的双流RNN架构,用于模拟基于骨架的动作识别中的时间动态和空间配置,并探索了两种不同的时间流结构:叠加RNN和分层RNN,以及两种转换空间结构的有效方法,还利用旋转和缩放变换来改善模型的泛化性能。实验表明,我们的方法在各种动作,如一般动作、互动活动和手势中,都带来了相当大的改进。
Apr, 2017
本文提出了一种基于卷积神经网络的框架用于骨骼动作识别,通过自动选择重要的骨骼节点和提取时间段提案进行动作分类和检测, 在NTU RGB + D数据集上获得了89.3%的验证准确性和93.7%的mAP。
该研究使用3D骨架数据和卷积神经网络(CNN)和长短期记忆(LSTM)方法进行3D人体行为分析,证明CNN和LSTM的分数融合方法可以更有效地捕获空间-时间信息,并在NTU RGB+D数据集上取得了最先进的结果,在深度视频中的大规模3D人体动作分析挑战中排名第一。
Jul, 2017
本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别,实现了对每个骨架序列的每帧中信息的有选择性的聚焦,具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型,并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
本研究提出了一种基于神经网络的视角自适应方法,通过学习确定虚拟观察视角并将骨架转换至该视角,可以减轻骨架动作识别中视角变化的影响,并且在五个挑战性基准测试上得到了优于现有方法的表现。
Apr, 2018
本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络(AGC-LSTM)的方法,它不仅可以在时间与空间领域之间探索联合关系,还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性, 同时在空间和时间特征上提取关键特征,该方法在两个数据集上的表现均优于现有的最先进方法。
Feb, 2019
我们提出了一种新颖的无监督骨架动作识别系统,该系统基于编码器-解码器递归神经网络,可以无需提供任何标签或摄像头深度输入,并可在各维度的身体关键点(2D或3D)和附加提示描述移动的情况下操作,并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能,且与有监督骨架动作识别表现相似。
Nov, 2019