MS$^2$L：基于骨架的动作识别的多任务自监督学习

MMOct, 2020

MS$^2$L：基于骨架的动作识别的多任务自监督学习

MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action Recognition

Lilang Lin, Sijie Song, Wenhan Yan, Jiaying Liu

TL;DR本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

Abstract

In this paper, we address self-supervised representation learning from human skeletons for action recognition. Previous methods, which usually learn feature presentations from a single reconstruction task, may come across the overfitting problem, and the features are not generalizable

self-supervised learning action recognition skeleton features motion prediction contrastive learning

发现论文，激发创造

Skeleton-Contrastive 3D 行为表示学习

本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

Aug, 2021

基于骨架的非监督动作识别和聚类

我们提出了一种新颖的无监督骨架动作识别系统，该系统基于编码器 - 解码器递归神经网络，可以无需提供任何标签或摄像头深度输入，并可在各维度的身体关键点（2D 或 3D）和附加提示描述移动的情况下操作，并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能，且与有监督骨架动作识别表现相似。

Nov, 2019

自监督行为识别的部位感知对比学习

提出一种基于关注机制的对比学习框架，用于骨架序列的表征学习，因为人体动作特征的语义区分常常由局部身体部位表示，如腿部或手部等，这对于基于骨架的动作识别是有优势的，并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习，从而提高了基于骨架的动作表征的准确度。

May, 2023

基于骨架的多粒度时空图神经网络学习用于动作识别

本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

Aug, 2021

视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

May, 2024

基于骨架的动作识别中学习判别性表示

本文提出了一个辅助的特征细化头（FR Head），通过空间 - 时间分解和对比特征细化来识别骨架的歧义样本，从而强化对多层的监督，并在多个数据集上进行了广泛的实验，得到了与最先进方法相竞争的结果。

Mar, 2023

基于多尺度时空骨架匹配的一次性动作识别

本文提出一种新的一次性骨架动作识别技术，通过多尺度空间和时间特征匹配处理骨架动作识别，实现了优秀、卓越的一次性骨架动作识别，并在诸多大规模数据集上，持续超越当前最先进的方法。

Jul, 2023

自主学习的骨架动作表示学习：基准及更多

本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述，将现有研究根据预训练方法学科进行分类，提出了一种综合多个先验任务的新型骨架自监督学习方法，大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明，该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。

Jun, 2024

基于骨架的动作识别语言监督训练

本研究提出了一种基于骨架的动作识别的语言监督训练方法。该方法利用了大规模的语言模型作为知识引擎，生成描述动作的文本描述，为不同的身体部位生成特征向量，并通过语言编码器监督骨架编码器进行动作表示学习，相对于其他模型，达到了新的技术水平。

Aug, 2022

通过掩蔽运动建模的激发对比：走向多功能的 3D 动作表示学习

我们提出了 Prompted Contrast with Masked Motion Modeling (PCM3) 方法，通过互惠方式集成了对比学习和遮挡预测任务，极大地提高了在不同下游任务中的泛化能力。通过减少学习两个不同训练任务造成的干扰，并通过掩模预测为对比学习提供了新视角，指导了高级语义信息的预测训练。与现有的工作相比，在三个大规模数据集上进行了大量实验证明了 PCM3 方法的卓越泛化能力。

Aug, 2023