AAAIFeb, 2023

基于自监督的部分时空骨骼序列动作表示学习

PDF
TL;DR本研究提出了一种利用部分骨骼序列的局部关系的 Partial Spatio-Temporal Learning（PSTL）框架，并采用独特的时空屏蔽策略构建负样本无人机结构。该方法在 NTU-60、NTU-120 和 PKU-MMD 等基准测试中均取得了 SOTA 表现，并在实际评估中验证了方法的鲁棒性。
self-supervised learningskeleton-based action recognitionlocal relationshipspatio-temporal masking strategytriplet steam structure
发现论文，激发创造
  • 揭开隐藏的领域：遮挡环境中自监督骨架动作识别

    将动作识别方法集成到自主机器人系统中，考虑目标遮挡的不利情况是至关重要的。我们提出了一种简单有效的方法，通过预训练使用遮挡的骨架序列，然后使用 KMeans 对序列嵌入进行聚类，以填补缺失的骨架数据，从而为现有基于骨架的自监督模型带来显著的好处。同时，在 Partial Spatio-Temporal Learning (PSTL) 的基础上，我们引入了一种新的 Occluded Partial Spatio-Temporal Learning (OPSTL) 框架，利用 Adaptive Spatial Masking (ASM) 更好地利用高质量完整的骨架数据。我们的填补方法的有效性在具有挑战性的 NTURGB+D 60 和 NTURGB+D 120 的遮挡版本上得到了验证。

    Sep, 2023

  • 基于自监督的骨架行为识别的跨流对比学习

    本文提出了一种基于骨架的自监督动作识别框架，采用跨流对比学习来设计硬样本对，结合积极变换策略，提高了对复杂动作模式的处理能力，并表现出优于三个基准数据集的效果。

    May, 2023

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 基于时空解耦对比学习的骨骼人体动作识别

    我们提出了一种用于基于骨架的动作识别的框架（STD-CL），通过解耦空间和时间特征并应用注意力特征到对比学习，改进了全局特征的语义，提高了准确性，在 NTU60、NTU120 和 NW-UCLA 基准数据集上实现了改进。

    Dec, 2023

  • 自监督基于骨架的动作识别的时空混合骨架序列对比学习

    本文提出了一种基于对比学习的无监督骨架动作识别方案，其中包括自适应的对比学习方法和基于拓扑信息的骨架混合数据增强策略，证明该方案在多个数据集上实现了最先进的性能。

    Jul, 2022

  • 自监督行为识别的部位感知对比学习

    提出一种基于关注机制的对比学习框架，用于骨架序列的表征学习，因为人体动作特征的语义区分常常由局部身体部位表示，如腿部或手部等，这对于基于骨架的动作识别是有优势的，并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习，从而提高了基于骨架的动作表征的准确度。

    May, 2023

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • 基于骨架的动作识别：空间推理和时域堆叠学习

    本研究提出了一种新的基于骨架的动作识别模型，包括空间推理网络（SRN）和时间堆叠学习网络（TSLN），SRN 通过残差图神经网络捕获每帧内的高级空间结构信息，而 TSLN 通过多个跳跃剪辑 LSTM 的组合模拟骨架序列的详细时间动态，最终实验结果表明与最先进的方法相比，该方法表现出更好的表现。

    May, 2018

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024

  • 一种用于三维动作识别的骨架序列新表示方法

    本文提出了一种新的方法，使用骨架序列（即人类骨架关节的 3D 轨迹）进行三维动作识别，并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。

    Mar, 2017