IJCAIApr, 2018

基于注意力机制的骨架动作识别算法

PDF
TL;DR本研究旨在提出一种时间和空间相结合的新方法用于解决基于骨架的动作识别中的挑战，该方法利用内存关注网络（MANs）并将时间和空间校准模块与卷积神经网络（CNNs）相结合，最终在四个基准数据集（NTU RGB + D，HDM05，SYSU-3D 和 UT-Kinect）上实现了最佳性能。
发现论文，激发创造
  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 基于自注意力网络的基于骨骼的人体动作识别

    提出三个 Self-Attention 网络的变体来提取高层语义，其中将 Temporal Segment Network 应用于变体以获得更好的性能，通过广泛的实验评估，探索了不同配置和表现更好的方法。

    Dec, 2019

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

    通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。

    Apr, 2024

  • 视频语义分割的时间记忆注意力

    该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

    Feb, 2021

  • 用于人体骨架运动预测的时空共同关注循环神经网络

    本研究提出了一种新颖的 Skeleton-joint Co-attention 循环神经网络（SC-RNN）来捕捉关节间的空间一致性以及骨架之间的时间演化，从而提高人体运动预测的准确性。通过实验证明，该方法优于相关方法。

    Sep, 2019

  • 基于骨架的全局上下文感知注意力 LSTM 网络的人类动作识别

    本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别，实现了对每个骨架序列的每帧中信息的有选择性的聚焦，具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型，并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。

    Jul, 2017

  • 动作识别的记忆增强时序动态学习

    提出了一种记忆增强的时间动态学习网络，利用差分记忆控制器将最显著的信息写入外部存储器，并忽略不相关的信息，增强了动作识别的效果。

    Apr, 2019

  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019