STARS:自助调谐的三维骨架序列动作识别
我们提出了一种新颖的无监督骨架动作识别系统,该系统基于编码器-解码器递归神经网络,可以无需提供任何标签或摄像头深度输入,并可在各维度的身体关键点(2D或3D)和附加提示描述移动的情况下操作,并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能,且与有监督骨架动作识别表现相似。
Nov, 2019
本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题,提出了一种多任务自监督学习的方法,包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。
Oct, 2020
本论文提出了一种基于骨架的行为识别的自监督学习方法,通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在PKU和NTU数据集上进行了验证,并在多个下游任务中实现了最新水平。
Aug, 2021
本研究提出了一种利用部分骨骼序列的局部关系的Partial Spatio-Temporal Learning(PSTL)框架,并采用独特的时空屏蔽策略构建负样本无人机结构。该方法在NTU-60、NTU-120和PKU-MMD等基准测试中均取得了SOTA表现,并在实际评估中验证了方法的鲁棒性。
Feb, 2023
本研究提出了一种新的对比学习方法,使用HaLP模块——用于幻想潜在的正合成,来在没有标签的情况下训练基于骨架的行动识别模型,并提供了实验证明该方法对于线性评估、迁移学习和kNN评估等任务具有可持续性的改进。
Apr, 2023
本文提出了一种自监督的方法,设计了一种新颖的骨骼云着色技术,并通过骨骼序列数据的无标签学习学习骨骼的空间和时态表示。该方法在不同配置下训练的线性分类器上评估,并在多个数据集上进行了广泛的实验。结果表明,该方法在无监督和半监督 3D 动作识别方法中取得了很大的提升,并且在监督 3D 动作识别方面也取得了竞争性能。
Apr, 2023
本文提出了一种高效的骨架序列学习框架,名为Skeleton Sequence Learning(SSL)。通过将骨架关节序列嵌入图卷积网络(GCN)并基于先验人体拓扑知识重构遮蔽骨架关节和边,我们构建了一个不对称的基于图的编码器-解码器预训练架构,命名为SkeletonMAE,然后将预训练的SkeletonMAE编码器与时空表示学习(STRL)模块集成到SSL框架中。广泛的实验结果表明,我们的SSL在不同数据集上具有良好的泛化能力,在FineGym、Diving48、NTU 60和NTU 120数据集上优于最先进的自监督骨骼动作识别方法,同时与某些完全监督方法具有可比较的性能。
Jul, 2023
将动作识别方法集成到自主机器人系统中,考虑目标遮挡的不利情况是至关重要的。我们提出了一种简单有效的方法,通过预训练使用遮挡的骨架序列,然后使用KMeans对序列嵌入进行聚类,以填补缺失的骨架数据,从而为现有基于骨架的自监督模型带来显著的好处。同时,在Partial Spatio-Temporal Learning (PSTL)的基础上,我们引入了一种新的Occluded Partial Spatio-Temporal Learning (OPSTL)框架,利用Adaptive Spatial Masking (ASM)更好地利用高质量完整的骨架数据。我们的填补方法的有效性在具有挑战性的NTURGB+D 60和NTURGB+D 120的遮挡版本上得到了验证。
Sep, 2023
Skeleton2vec是一个采用自注意机制和运动感知的管道掩蔽策略的自监督学习框架,用于骨骼动作表示学习,实验结果表明其在NTU-60、NTU-120和PKU-MMD数据集上比现有方法表现更好,达到最先进水平。
Jan, 2024
本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述,将现有研究根据预训练方法学科进行分类,提出了一种综合多个先验任务的新型骨架自监督学习方法,大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明,该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。
Jun, 2024