Jul, 2017

基于骨架的全局上下文感知注意力 LSTM 网络的人类动作识别

PDF
TL;DR本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别，实现了对每个骨架序列的每帧中信息的有选择性的聚焦，具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型，并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
human action recognition3d skeleton sequenceslong short-term memory networksattention mechanismstate-of-the-art performance
发现论文，激发创造
  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019

  • 基于时空 LSTM 网络和可控门的骨架动作识别

    本论文提出了一种基于骨骼的人体动作识别方法，该方法采用循环神经网络建模体关节的 3D 位置配置之间的时间依赖关系，利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源，并提出了一种有效的基于树状结构的遍历框架，以处理 Kinect 骨架数据中的噪声。该方法采用了新的 LSTM 模块中的门机制，通过学习连续数据的可靠性，并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响，从而处理骨架数据中的噪声，并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在 7 个具有挑战性的基准数据集上具有很好的效果。

    Jun, 2017

  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 基于正则化深层 LSTM 网络的骨架动作识别的共现特征学习

    提出了一种基于骨架的行为识别模型，使用递归神经网络（RNNs）与长短时记忆（LSTM）建立深度学习网络，学习并自动建模骨架关节之间的协同特征，在三个人类行为识别数据集上具有良好的效果。

    Mar, 2016

  • 基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

    通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。

    Apr, 2024

  • 基于 LSTM 和 CNN 的骨架动作识别

    该研究使用 3D 骨架数据和卷积神经网络 (CNN) 和长短期记忆 (LSTM) 方法进行 3D 人体行为分析，证明 CNN 和 LSTM 的分数融合方法可以更有效地捕获空间 - 时间信息，并在 NTU RGB+D 数据集上取得了最先进的结果，在深度视频中的大规模 3D 人体动作分析挑战中排名第一。

    Jul, 2017

  • 带有信任门的时空 LSTM 用于 3D 人体动作识别

    本研究提出了一种基于 RNN 的学习方法，通过树形结构遍历骨骼图来分析 3D 运动数据的时空依赖关系，并引入新的门控机制来处理 3D 骨骼数据中的噪声和遮挡，从而实现对动作数据的高效分析及提取。

    Jul, 2016

  • 基于自注意力网络的基于骨骼的人体动作识别

    提出三个 Self-Attention 网络的变体来提取高层语义，其中将 Temporal Segment Network 应用于变体以获得更好的性能，通过广泛的实验评估，探索了不同配置和表现更好的方法。

    Dec, 2019

  • 用于人体骨架运动预测的时空共同关注循环神经网络

    本研究提出了一种新颖的 Skeleton-joint Co-attention 循环神经网络（SC-RNN）来捕捉关节间的空间一致性以及骨架之间的时间演化，从而提高人体运动预测的准确性。通过实验证明，该方法优于相关方法。

    Sep, 2019

  • 基于格子长短期记忆的人类动作识别

    L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

    Aug, 2017