CVPRApr, 2017

利用双流循环神经网络建模动作的时间动态和空间配置

PDF
TL;DR本文提出了一种新型的双流 RNN 架构，用于模拟基于骨架的动作识别中的时间动态和空间配置，并探索了两种不同的时间流结构：叠加 RNN 和分层 RNN，以及两种转换空间结构的有效方法，还利用旋转和缩放变换来改善模型的泛化性能。实验表明，我们的方法在各种动作，如一般动作、互动活动和手势中，都带来了相当大的改进。
skeleton based action recognitionrecurrent neural networkstemporal dynamicsspatial configurations3d transformation
发现论文，激发创造
  • 基于骨骼的动作识别的双流三维卷积神经网络

    本文利用 3D CNN 提取基于骨架的动作识别的时空信息与深度特征，探讨其与 RNN 的互补性和噪声下的鲁棒性，并在 SmartHome 数据集和 NTU RGB-D 数据集上获得优异的表现。

    May, 2017

  • 基于时空 LSTM 网络和可控门的骨架动作识别

    本论文提出了一种基于骨骼的人体动作识别方法，该方法采用循环神经网络建模体关节的 3D 位置配置之间的时间依赖关系，利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源，并提出了一种有效的基于树状结构的遍历框架，以处理 Kinect 骨架数据中的噪声。该方法采用了新的 LSTM 模块中的门机制，通过学习连续数据的可靠性，并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响，从而处理骨架数据中的噪声，并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在 7 个具有挑战性的基准数据集上具有很好的效果。

    Jun, 2017

  • 用于人体骨架运动预测的时空共同关注循环神经网络

    本研究提出了一种新颖的 Skeleton-joint Co-attention 循环神经网络（SC-RNN）来捕捉关节间的空间一致性以及骨架之间的时间演化，从而提高人体运动预测的准确性。通过实验证明，该方法优于相关方法。

    Sep, 2019

  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 基于骨架的动作识别：空间推理和时域堆叠学习

    本研究提出了一种新的基于骨架的动作识别模型，包括空间推理网络（SRN）和时间堆叠学习网络（TSLN），SRN 通过残差图神经网络捕获每帧内的高级空间结构信息，而 TSLN 通过多个跳跃剪辑 LSTM 的组合模拟骨架序列的详细时间动态，最终实验结果表明与最先进的方法相比，该方法表现出更好的表现。

    May, 2018

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于卷积神经网络的基础动作识别

    本文提出了一种基于卷积神经网络的框架用于骨骼动作识别，通过自动选择重要的骨骼节点和提取时间段提案进行动作分类和检测， 在 NTU RGB + D 数据集上获得了 89.3％的验证准确性和 93.7％的 mAP。

    Apr, 2017

  • 带有信任门的时空 LSTM 用于 3D 人体动作识别

    本研究提出了一种基于 RNN 的学习方法，通过树形结构遍历骨骼图来分析 3D 运动数据的时空依赖关系，并引入新的门控机制来处理 3D 骨骼数据中的噪声和遮挡，从而实现对动作数据的高效分析及提取。

    Jul, 2016

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017