一种基于时空注意力机制的人体动作识别端到端模型(来自骨架数据)
提出了一种基于骨架的行为识别模型,使用递归神经网络(RNNs)与长短时记忆(LSTM)建立深度学习网络,学习并自动建模骨架关节之间的协同特征,在三个人类行为识别数据集上具有良好的效果。
Mar, 2016
本文研究了如何从流媒体骨架数据中实时监测并识别出人类动作,并提出了一种基于神经网络的多任务分类回归模型来更准确地定位动作类型和时间位置信息,该模型具有较高的计算效率和准确性。
Apr, 2016
提出了一种新颖的视角自适应循环神经网络模型,用于解决骨骼数据中的视角变化和动作连续性问题,并在三个基准数据集上取得了显著的改进。
Mar, 2017
本文提出了一种新型的双流RNN架构,用于模拟基于骨架的动作识别中的时间动态和空间配置,并探索了两种不同的时间流结构:叠加RNN和分层RNN,以及两种转换空间结构的有效方法,还利用旋转和缩放变换来改善模型的泛化性能。实验表明,我们的方法在各种动作,如一般动作、互动活动和手势中,都带来了相当大的改进。
Apr, 2017
本论文提出了一种基于骨骼的人体动作识别方法,该方法采用循环神经网络建模体关节的3D位置配置之间的时间依赖关系,利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源,并提出了一种有效的基于树状结构的遍历框架,以处理Kinect骨架数据中的噪声。该方法采用了新的LSTM模块中的门机制,通过学习连续数据的可靠性,并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响,从而处理骨架数据中的噪声,并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在7个具有挑战性的基准数据集上具有很好的效果。
Jun, 2017
本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别,实现了对每个骨架序列的每帧中信息的有选择性的聚焦,具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型,并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
Jul, 2017
本研究旨在提出一种时间和空间相结合的新方法用于解决基于骨架的动作识别中的挑战,该方法利用内存关注网络(MANs)并将时间和空间校准模块与卷积神经网络(CNNs)相结合,最终在四个基准数据集(NTU RGB + D,HDM05,SYSU-3D和UT-Kinect)上实现了最佳性能。
Apr, 2018
该研究提出了一种同时提取时域和频域信息中详细和语义信息的方法,包括残差频率注意(rFA)块和同步本地和非本地(SLnL)块,以及软边缘焦点损失(SMFL)来优化学习过程,并在几个大规模数据集上明显优于其他现有方法。
Nov, 2018
本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络(AGC-LSTM)的方法,它不仅可以在时间与空间领域之间探索联合关系,还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性, 同时在空间和时间特征上提取关键特征,该方法在两个数据集上的表现均优于现有的最先进方法。
Feb, 2019
提出三个Self-Attention网络的变体来提取高层语义,其中将Temporal Segment Network应用于变体以获得更好的性能,通过广泛的实验评估,探索了不同配置和表现更好的方法。
Dec, 2019