Feb, 2023

空间 - 时间变换引导扩散数据增强的高效基于骨架的动作识别

PDF
TL;DR本论文介绍一种基于数据增强的新方法，使用 DDPM 和 ST-Trans 生成高质量和多样化的顺序动作序列，有效地提高了现有动作识别模型的性能。
skeleton-based human actionrgb sensorsdeep learningdata augmentationsequential actions
发现论文，激发创造
  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • 从合成数据中学习人体姿势模型以实现鲁棒的 RGB-D 动作识别

    我们提出了一种人体姿态模型，可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的 RGB 和深度图像。通过开发一个综合训练数据的框架，我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中，我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。

    Jul, 2017

  • 基于时空解耦对比学习的骨骼人体动作识别

    我们提出了一种用于基于骨架的动作识别的框架（STD-CL），通过解耦空间和时间特征并应用注意力特征到对比学习，改进了全局特征的语义，提高了准确性，在 NTU60、NTU120 和 NW-UCLA 基准数据集上实现了改进。

    Dec, 2023

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 使用扩散模型进行受形状限制的人体动作生成

    我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

    May, 2024

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • DD-GCN: 基于有向扩散图卷积网络的基于骨骼的人体行为识别

    构建了指向性扩散图进行动作建模，引入了活动分割策略以优化图卷积核的权重共享机制，提出了时空同步编码器用于嵌入同步时空语义，并通过在三个公共数据集上的实验验证了我们方法的最先进性能。

    Aug, 2023

  • 基于骨骼的动作识别的解耦空时注意力网络

    提出一种新型的解耦空 — 时间注意力网络 (DSTA-Net) 用于基于骨架的动作识别，该网络只涉及注意块，无需知道关节位置或关节间的相互连接，通过使用解耦技术和空 — 时间注意力，能够更好地挖掘骨架数据的时间和空间特征，并在四个具有挑战性的数据集上实现最先进的性能表现。

    Jul, 2020