Jan, 2022

基于骨架的动作识别中的时空元组变换

PDF
TL;DR提出了一种新的时空元组 Transformer（STTFormer）方法，该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题，在两个大型数据集上的表现优于现有技术方法。
skeleton-based action recognitiontransformerspatio-temporal tuples transformerrelationship of different jointsfeature aggregation module
发现论文，激发创造
  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • SkateFormer：人类动作识别的骨骼时空变换器

    提出了一种名为 SkateFormer 的新方法，通过将关节和帧基于不同类型的骨骼时空关系进行划分，并在每个划分中进行骨骼时空自注意力计算（Skate-MSA），从而在行动识别中有选择地关注关键关节和帧，提高了效率。在各种基准数据集上进行的大量实验证明，SkateFormer 优于最近的最先进方法。

    Mar, 2024

  • 基于骨架的动作识别的向 T 时空焦点的迈进

    该研究提出了一种基于骨架的动作识别框架，利用空间 - 时间梯度来聚焦相关的空间 - 时间特征，并利用可学习的梯度增强和实例依赖邻接矩阵建立高阶空间 - 时间动态模型，并通过基于梯度的空间 - 时间注意力来指导分类器去关注何时以及何处，以优化堆叠的 STF 模块，该方法在几个数据集上呈现出具有竞争力的结果。

    Feb, 2022

  • STAR-Transformer：面向人类动作识别的时空交叉注意力变压器

    提出一种名为 STAR-transformer 的模型，该模型可以有效地表示两个跨模态特征为可识别的矢量，并学习到一种高效的多功能特征表示方法。在动作识别领域中，STAR-transformer 的效果显著优于之前的最先进方法。

    Oct, 2022

  • 基于运动捕捉的动作识别的时空网格变换器（STMT）

    本文提出一种利用 Spatial-Temporal Mesh Transformer（STMT） 直接对网格序列进行建模的方法，通过使用层次 Transformer 结构和自监督任务来实现骨架表示和点云表示无法达到的以空间 - 时间域的非局部关系为基础的人类动作识别，实验结果表明该方法在 MoCap 基准测试上表现卓越。

    Mar, 2023

  • STEP CATFormer：基于空时有效部位交叉注意力变换器的基于骨骼的动作识别

    我们通过引入图卷积网络（GCN）和时序注意力转换器，提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络，用于骨骼动作识别和特征提取。

    Dec, 2023

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 无监督骨骼动作学习的全局 - 局部运动转换器

    本论文提出了一种新的 transformer 模型，旨在实现对骨架运动序列的无监督学习。该模型结合了全局和局部注意机制，通过新的预训练策略，成功地学习了局部和全局的内容，并在测试中显示出了优异的性能。

    Jul, 2022

  • 骨骼少样本动作识别的时空视角传输规划

    提出了一种基于 JEANIE 的 3D 骨骼动作识别少样本学习方法，包括动态时间扭曲、简单光谱图卷积、线性图神经网络骨干和基于相似性的损耗函数，达到了在 NTU-60，NTU-120，运动学 - 骨骼和 UWA3D Multiview Activity II 数据集上的最先进的结果。

    Oct, 2022