Dec, 2020

基于骨骼的动作识别的时空转换器网络

PDF
TL;DR本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。
skeleton-based human action recognitionspatial-temporal transformer networktransformer self-attention operatorspatial self-attention moduletemporal self-attention module
发现论文，激发创造
  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • 基于骨架的动作识别中的时空元组变换

    提出了一种新的时空元组 Transformer（STTFormer）方法，该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题，在两个大型数据集上的表现优于现有技术方法。

    Jan, 2022

  • 基于骨架的动作识别：空间推理和时域堆叠学习

    本研究提出了一种新的基于骨架的动作识别模型，包括空间推理网络（SRN）和时间堆叠学习网络（TSLN），SRN 通过残差图神经网络捕获每帧内的高级空间结构信息，而 TSLN 通过多个跳跃剪辑 LSTM 的组合模拟骨架序列的详细时间动态，最终实验结果表明与最先进的方法相比，该方法表现出更好的表现。

    May, 2018

  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于骨骼的动作识别的解耦空时注意力网络

    提出一种新型的解耦空 — 时间注意力网络 (DSTA-Net) 用于基于骨架的动作识别，该网络只涉及注意块，无需知道关节位置或关节间的相互连接，通过使用解耦技术和空 — 时间注意力，能够更好地挖掘骨架数据的时间和空间特征，并在四个具有挑战性的数据集上实现最先进的性能表现。

    Jul, 2020

  • STEP CATFormer：基于空时有效部位交叉注意力变换器的基于骨骼的动作识别

    我们通过引入图卷积网络（GCN）和时序注意力转换器，提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络，用于骨骼动作识别和特征提取。

    Dec, 2023

  • STAR-Transformer：面向人类动作识别的时空交叉注意力变压器

    提出一种名为 STAR-transformer 的模型，该模型可以有效地表示两个跨模态特征为可识别的矢量，并学习到一种高效的多功能特征表示方法。在动作识别领域中，STAR-transformer 的效果显著优于之前的最先进方法。

    Oct, 2022

  • 空间 - 时间变换引导扩散数据增强的高效基于骨架的动作识别

    本论文介绍一种基于数据增强的新方法，使用 DDPM 和 ST-Trans 生成高质量和多样化的顺序动作序列，有效地提高了现有动作识别模型的性能。

    Feb, 2023

  • 基于骨架的动作识别的向 T 时空焦点的迈进

    该研究提出了一种基于骨架的动作识别框架，利用空间 - 时间梯度来聚焦相关的空间 - 时间特征，并利用可学习的梯度增强和实例依赖邻接矩阵建立高阶空间 - 时间动态模型，并通过基于梯度的空间 - 时间注意力来指导分类器去关注何时以及何处，以优化堆叠的 STF 模块，该方法在几个数据集上呈现出具有竞争力的结果。

    Feb, 2022