主动学习稀疏半监督动作识别
我们提出了一种新颖的无监督骨架动作识别系统,该系统基于编码器 - 解码器递归神经网络,可以无需提供任何标签或摄像头深度输入,并可在各维度的身体关键点(2D 或 3D)和附加提示描述移动的情况下操作,并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能,且与有监督骨架动作识别表现相似。
Nov, 2019
该论文提出了一种基于对比学习的行动识别新范例,并使用多种新型增强策略来对未标记的骨架序列数据进行对比,从而学习动作表示,并展示了该方法在无监督学习中的优异性能。
Aug, 2020
理解人体姿势的行为对于与人类共享空间的辅助机器人来说是至关重要的,为了能够对下一次交互做出明智和安全的决策。然而,准确的时间定位和标注活动序列是耗时的,而且结果往往带有噪声。本研究通过将骨架动作识别方法与来自多个研究领域的标签去噪策略相结合,填补了这一空白,为此实施了一个框架作为初始基准。观察结果显示,这些基准在处理稀疏骨架数据时仅能提供较小的性能。因此,我们提出了一种新的方法,NoiseEraSAR,它集成了全局样本选择、共同教学和交叉模态混合专家(CM-MOE)策略,旨在减轻标签噪声的不利影响。我们的方法在已建立的基准上展示了更好的性能,树立了新的最先进标准。本研究的源代码将在此 https URL 上公开。
Mar, 2024
提出了一种用于提高广义零样本基于骨骼的动作识别(GZSSAR)性能的多语义融合(MSF)模型,其中采集了两种类级文本描述(动作描述和运动描述)作为辅助语义信息,以增强通用骨骼特征的学习能力。通过预训练的语言编码器和骨骼编码器提取富有语义特征的动作类别和骨骼特征,并利用基于变分自动编码器(VAE)的生成模块学习骨骼和语义特征之间的跨模态对齐,最后构建分类模块识别输入样本的动作类别,并在 GZSSAR 中采用看见未见分类门来预测样本是否来自已知动作类别。与先前模型相比,提出的 MSF 模型在 GZSSAR 上表现出卓越的性能。
Sep, 2023
本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题,提出了一种多任务自监督学习的方法,包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。
Oct, 2020
将动作识别方法集成到自主机器人系统中,考虑目标遮挡的不利情况是至关重要的。我们提出了一种简单有效的方法,通过预训练使用遮挡的骨架序列,然后使用 KMeans 对序列嵌入进行聚类,以填补缺失的骨架数据,从而为现有基于骨架的自监督模型带来显著的好处。同时,在 Partial Spatio-Temporal Learning (PSTL) 的基础上,我们引入了一种新的 Occluded Partial Spatio-Temporal Learning (OPSTL) 框架,利用 Adaptive Spatial Masking (ASM) 更好地利用高质量完整的骨架数据。我们的填补方法的有效性在具有挑战性的 NTURGB+D 60 和 NTURGB+D 120 的遮挡版本上得到了验证。
Sep, 2023
提出一种基于关注机制的对比学习框架,用于骨架序列的表征学习,因为人体动作特征的语义区分常常由局部身体部位表示,如腿部或手部等,这对于基于骨架的动作识别是有优势的,并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习,从而提高了基于骨架的动作表征的准确度。
May, 2023
本文针对人类行为建模,使用骨架数据训练端到端的状态最新系统,无需精细的个人动作注释即可实现对群体活动的分类识别,但未采用个人行为监督的模型效果较差。同时,本文也提出了伪标签可从任何预训练特征提取器中计算,最终获得与监督模型具有可比性的性能。最后提出的姿态网络架构表现出优异的结果,即使在自监督变体中也可竞争性地胜过更复杂的多模态方法。
May, 2021
本文主要研究标签高效学习、视频动作检测、半监督主动学习、信息样本选择和时空定位等主题。提出了一个半监督主动学习方法,利用标记和未标记数据以及信息样本选择来进行动作检测。通过提出的噪声增强和基于高通滤波的关注机制(fft-attention)等技术,提高了半监督学习在视频动作检测中的准确性和泛化能力。通过在 UCF-101-24、JHMDB-21 和 Youtube-VOS 等数据集上的实验证明了该方法的有效性。
Dec, 2023
本论文提出了一种基于骨架的行为识别的自监督学习方法,通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证,并在多个下游任务中实现了最新水平。
Aug, 2021