带有信任门的时空LSTM用于3D人体动作识别
提出了一种基于骨架的行为识别模型,使用递归神经网络(RNNs)与长短时记忆(LSTM)建立深度学习网络,学习并自动建模骨架关节之间的协同特征,在三个人类行为识别数据集上具有良好的效果。
Mar, 2016
本文研究了如何从流媒体骨架数据中实时监测并识别出人类动作,并提出了一种基于神经网络的多任务分类回归模型来更准确地定位动作类型和时间位置信息,该模型具有较高的计算效率和准确性。
Apr, 2016
本研究提出了一种基于RNNs和LSTM的空间和时间关注模型,用于从骨架数据中识别人类动作,实验结果表明该模型在SBU和NTU数据集上均取得了很好的效果。
Nov, 2016
本文提出了一种新型的双流RNN架构,用于模拟基于骨架的动作识别中的时间动态和空间配置,并探索了两种不同的时间流结构:叠加RNN和分层RNN,以及两种转换空间结构的有效方法,还利用旋转和缩放变换来改善模型的泛化性能。实验表明,我们的方法在各种动作,如一般动作、互动活动和手势中,都带来了相当大的改进。
Apr, 2017
本文提出了一种使用新型解释性模型TCN进行3D人体动作识别任务的方法Res-TCN,并在最大的3D人体动作识别数据集NTU-RGBD上取得了最新的成果。
Apr, 2017
本论文提出了一种基于骨骼的人体动作识别方法,该方法采用循环神经网络建模体关节的3D位置配置之间的时间依赖关系,利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源,并提出了一种有效的基于树状结构的遍历框架,以处理Kinect骨架数据中的噪声。该方法采用了新的LSTM模块中的门机制,通过学习连续数据的可靠性,并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响,从而处理骨架数据中的噪声,并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在7个具有挑战性的基准数据集上具有很好的效果。
Jun, 2017
该研究使用3D骨架数据和卷积神经网络(CNN)和长短期记忆(LSTM)方法进行3D人体行为分析,证明CNN和LSTM的分数融合方法可以更有效地捕获空间-时间信息,并在NTU RGB+D数据集上取得了最先进的结果,在深度视频中的大规模3D人体动作分析挑战中排名第一。
Jul, 2017
本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别,实现了对每个骨架序列的每帧中信息的有选择性的聚焦,具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型,并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
Jul, 2017
L2STM是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法,结合多模态训练程序,在人类动作识别方面表现优于现有的基于LSTM和/或CNN的方法。
Aug, 2017
本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络(AGC-LSTM)的方法,它不仅可以在时间与空间领域之间探索联合关系,还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性, 同时在空间和时间特征上提取关键特征,该方法在两个数据集上的表现均优于现有的最先进方法。
Feb, 2019