基于双曲自适应学习的自监督骨架动作表示
本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述,将现有研究根据预训练方法学科进行分类,提出了一种综合多个先验任务的新型骨架自监督学习方法,大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明,该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。
Jun, 2024
本研究提出了一种新的对比学习方法,使用 HaLP 模块 —— 用于幻想潜在的正合成,来在没有标签的情况下训练基于骨架的行动识别模型,并提供了实验证明该方法对于线性评估、迁移学习和 kNN 评估等任务具有可持续性的改进。
Apr, 2023
本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题,提出了一种多任务自监督学习的方法,包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。
Oct, 2020
本论文提出了一种基于骨架的行为识别的自监督学习方法,通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证,并在多个下游任务中实现了最新水平。
Aug, 2021
本文研究了自监督表示学习在三维骨架动作识别中的应用,提出了一种包括两个不对称变换管道的数据增强策略和一种多视角采样方法,利用无标签样本从更宽的网络进行知识蒸馏,实验表明该方案在 NTU-60 和 NTU-120 数据集上表现优于当前的半监督方法和线性评估基准。
Feb, 2022
该论文提出了一种基于对比学习的行动识别新范例,并使用多种新型增强策略来对未标记的骨架序列数据进行对比,从而学习动作表示,并展示了该方法在无监督学习中的优异性能。
Aug, 2020
骨架动作识别在最近取得了显著进展,然而,在现实场景中存在数据不平衡是一个巨大的挑战,当前动作识别算法的性能在训练数据中存在严重类别不平衡时急剧下降,如何从不平衡的动作数据中学习无偏的表示是解决长尾动作识别问题的关键,本文提出了一种新颖的平衡表示学习方法,来解决动作识别中的长尾问题,首先,提出了一种空间 - 时间动作探索策略,以重新平衡的方式扩展样本空间,生成更有价值的样本,其次,设计了一种分离的动作感知学习计划,以进一步减轻表示空间中的偏差,该计划从训练中分离了尾类的表示学习,并提出了一种动作感知损失以施加更有效的约束,此外,提出了一种跳过模态表示,以提供互补的结构信息,在四个骨架数据集(NTU RGB+D 60,NTU RGB+D 120,NW-UCLA 和 Kinetics)上验证了所提出的方法,它不仅相对于最先进的方法取得了一致的大幅改进,还通过大量实验证明了其卓越的泛化能力。我们的代码可以在此 https URL 获取。
Aug, 2023
基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类,这需要大量的预定义动作类别注释;而基于自监督学习的方法涉及预处理任务中的骨架变换,可能会损害骨架结构。为了解决这些挑战,我们引入了一种新颖的基于骨骼的训练框架(C$^2$VL),基于跨模态对比学习,使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。
May, 2024
本文提出了一种基于骨骼的行为识别的一般性逐层一致对比学习框架 (HiCLR),并探索了使用强数据增强进行对比学习的潜力,同时提出了一个不对称损失以保证其鲁棒性,实验表明该方法在 NTU60、NTU120 和 PKUMMD 等三个大型数据集上优于现有技术。
Nov, 2022
本文提出了一种利用极端数据增强和丰富信息挖掘来改进运动表示学习的对比学习框架 (AimCLR),通过大量实验得出了其在三个数据集上的显着优越性。
Dec, 2021