Sep, 2023

揭开隐藏的领域：遮挡环境中自监督骨架动作识别

PDF
TL;DR将动作识别方法集成到自主机器人系统中，考虑目标遮挡的不利情况是至关重要的。我们提出了一种简单有效的方法，通过预训练使用遮挡的骨架序列，然后使用 KMeans 对序列嵌入进行聚类，以填补缺失的骨架数据，从而为现有基于骨架的自监督模型带来显著的好处。同时，在 Partial Spatio-Temporal Learning (PSTL) 的基础上，我们引入了一种新的 Occluded Partial Spatio-Temporal Learning (OPSTL) 框架，利用 Adaptive Spatial Masking (ASM) 更好地利用高质量完整的骨架数据。我们的填补方法的有效性在具有挑战性的 NTURGB+D 60 和 NTURGB+D 120 的遮挡版本上得到了验证。
action recognition methodsautonomous robotic systemstarget occlusionsself-supervised modelsocclusion
发现论文，激发创造
  • 基于自监督的部分时空骨骼序列动作表示学习

    本研究提出了一种利用部分骨骼序列的局部关系的 Partial Spatio-Temporal Learning（PSTL）框架，并采用独特的时空屏蔽策略构建负样本无人机结构。该方法在 NTU-60、NTU-120 和 PKU-MMD 等基准测试中均取得了 SOTA 表现，并在实际评估中验证了方法的鲁棒性。

    Feb, 2023

  • 深入探究一次性基于骨架的动作识别及其多样遮挡

    本研究为纠正骨架动作识别中身体遮挡问题提出了 Trans4SOAR 模型，该模型利用三个数据流及混合注意力融合机制缓解遮挡造成的副作用，并在标准 SOAR 和部分遮挡 SOAR 上均取得了最新成果。

    Feb, 2022

  • 基于骨架的非监督动作识别和聚类

    我们提出了一种新颖的无监督骨架动作识别系统，该系统基于编码器 - 解码器递归神经网络，可以无需提供任何标签或摄像头深度输入，并可在各维度的身体关键点（2D 或 3D）和附加提示描述移动的情况下操作，并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能，且与有监督骨架动作识别表现相似。

    Nov, 2019

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • 基于时空解耦对比学习的骨骼人体动作识别

    我们提出了一种用于基于骨架的动作识别的框架（STD-CL），通过解耦空间和时间特征并应用注意力特征到对比学习，改进了全局特征的语义，提高了准确性，在 NTU60、NTU120 和 NW-UCLA 基准数据集上实现了改进。

    Dec, 2023

  • 主动学习稀疏半监督动作识别

    该研究提出了 SESAR 方法，它将无监督学习和少量有监督学习相结合，通过两个组件对骨骼动作序列进行训练，从而实现骨骼动作识别，其性能超越其他方法，即使只使用 1% 已标记的数据。

    Dec, 2020

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 自监督行为识别的部位感知对比学习

    提出一种基于关注机制的对比学习框架，用于骨架序列的表征学习，因为人体动作特征的语义区分常常由局部身体部位表示，如腿部或手部等，这对于基于骨架的动作识别是有优势的，并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习，从而提高了基于骨架的动作表征的准确度。

    May, 2023

  • 使用骨骼云彩色化进行自监督的 3D 动作表示学习

    本文提出了一种自监督的方法，设计了一种新颖的骨骼云着色技术，并通过骨骼序列数据的无标签学习学习骨骼的空间和时态表示。该方法在不同配置下训练的线性分类器上评估，并在多个数据集上进行了广泛的实验。结果表明，该方法在无监督和半监督 3D 动作识别方法中取得了很大的提升，并且在监督 3D 动作识别方面也取得了竞争性能。

    Apr, 2023

  • 基于骨架的动作识别语言监督训练

    本研究提出了一种基于骨架的动作识别的语言监督训练方法。该方法利用了大规模的语言模型作为知识引擎，生成描述动作的文本描述，为不同的身体部位生成特征向量，并通过语言编码器监督骨架编码器进行动作表示学习，相对于其他模型，达到了新的技术水平。

    Aug, 2022