一种基于时空注意力机制的人体动作识别端到端模型(来自骨架数据)
本论文提出了一种基于骨骼的人体动作识别方法,该方法采用循环神经网络建模体关节的 3D 位置配置之间的时间依赖关系,利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源,并提出了一种有效的基于树状结构的遍历框架,以处理 Kinect 骨架数据中的噪声。该方法采用了新的 LSTM 模块中的门机制,通过学习连续数据的可靠性,并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响,从而处理骨架数据中的噪声,并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在 7 个具有挑战性的基准数据集上具有很好的效果。
Jun, 2017
本研究提出一种基于时空注意力机制的人体动作识别方法,采用外部信息(人的姿态)提取注意力分布,采用 RNN 实现注意力的递归处理,以实现自动关注动作中最活跃的手部,并检测最具区分度的动作要素,并在 NTU-RGB + D 数据集上获得最先进的结果。
Dec, 2017
本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法,它不仅可以在时间与空间领域之间探索联合关系,还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性, 同时在空间和时间特征上提取关键特征,该方法在两个数据集上的表现均优于现有的最先进方法。
Feb, 2019
通过利用多模态视频数据,并提出使用两种方法来识别人类行为,包括使用卷积模型处理姿势流,由可调节关注机制控制图片流,最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取,能够在多数据集上大幅度的提高人类行为识别的效果。
Mar, 2017
本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别,实现了对每个骨架序列的每帧中信息的有选择性的聚焦,具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型,并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
Jul, 2017
本研究提出了一种新颖的 Skeleton-joint Co-attention 循环神经网络(SC-RNN)来捕捉关节间的空间一致性以及骨架之间的时间演化,从而提高人体运动预测的准确性。通过实验证明,该方法优于相关方法。
Sep, 2019
本文提出了一种新的空时变换器网络(ST-TR),该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块(SSA)用于理解不同身体部位之间的帧内相互作用,而时间自我注意模块(TSA)用于建模帧间的相关性。两个模块在两个流网络中被结合使用,对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。
Dec, 2020
通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性,并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签,模型不仅提高了准确性,还能时空自动定位区分性区域。
Oct, 2018
提出一种新型的解耦空 — 时间注意力网络 (DSTA-Net) 用于基于骨架的动作识别,该网络只涉及注意块,无需知道关节位置或关节间的相互连接,通过使用解耦技术和空 — 时间注意力,能够更好地挖掘骨架数据的时间和空间特征,并在四个具有挑战性的数据集上实现最先进的性能表现。
Jul, 2020
本文提出了一种新型的双流 RNN 架构,用于模拟基于骨架的动作识别中的时间动态和空间配置,并探索了两种不同的时间流结构:叠加 RNN 和分层 RNN,以及两种转换空间结构的有效方法,还利用旋转和缩放变换来改善模型的泛化性能。实验表明,我们的方法在各种动作,如一般动作、互动活动和手势中,都带来了相当大的改进。
Apr, 2017