基于自举方法的骨架动作识别表示学习
本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent(BYOL),通过在线网络和目标网络相互交互和学习,从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示,并同时使用在线网络的缓慢移动平均更新目标网络,通过使用 ResNet-50 架构进行线性评估,BYOL 在 ImageNet 具有 74.3%的 top-1 分类准确率,在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。
Jun, 2020
本研究探讨并观察到使用 BYOL 学习得到的特征对于聚类可能不是最佳的,提出了一种新颖的基于一致性聚类的损失函数,通过提出的方法进行训练可以提高聚类能力,并在一些流行的计算机视觉数据集上优于相似的聚类方法。
Oct, 2020
骨架动作识别在最近取得了显著进展,然而,在现实场景中存在数据不平衡是一个巨大的挑战,当前动作识别算法的性能在训练数据中存在严重类别不平衡时急剧下降,如何从不平衡的动作数据中学习无偏的表示是解决长尾动作识别问题的关键,本文提出了一种新颖的平衡表示学习方法,来解决动作识别中的长尾问题,首先,提出了一种空间 - 时间动作探索策略,以重新平衡的方式扩展样本空间,生成更有价值的样本,其次,设计了一种分离的动作感知学习计划,以进一步减轻表示空间中的偏差,该计划从训练中分离了尾类的表示学习,并提出了一种动作感知损失以施加更有效的约束,此外,提出了一种跳过模态表示,以提供互补的结构信息,在四个骨架数据集(NTU RGB+D 60,NTU RGB+D 120,NW-UCLA 和 Kinetics)上验证了所提出的方法,它不仅相对于最先进的方法取得了一致的大幅改进,还通过大量实验证明了其卓越的泛化能力。我们的代码可以在此 https URL 获取。
Aug, 2023
本论文提出了一种基于骨架的行为识别的自监督学习方法,通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证,并在多个下游任务中实现了最新水平。
Aug, 2021
本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题,提出了一种多任务自监督学习的方法,包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。
Oct, 2020
本文提出了一个基于对比学习的模型 SkeletonBYOL,以及一个结合了跨模型对抗学习(CMAL)和跨流协作学习(CSCL)的联合框架 ACL,用于骨架姿态下的行为识别任务。实验结果表明该方法在多个数据集和评估协议下均实现了优异的性能。
Jul, 2023
通过将自监督学习与半监督模型结合,我们提出了一种创新方法以提高医学图像识别的能力。通过在未标记数据上进行预训练,然后将伪标记和标记数据集合并构建神经网络分类器,并通过迭代微调进行优化,实验证明我们的方法在医学图像识别的准确性方面优于现有方法。
Apr, 2024
本文提出了一种自监督的方法,设计了一种新颖的骨骼云着色技术,并通过骨骼序列数据的无标签学习学习骨骼的空间和时态表示。该方法在不同配置下训练的线性分类器上评估,并在多个数据集上进行了广泛的实验。结果表明,该方法在无监督和半监督 3D 动作识别方法中取得了很大的提升,并且在监督 3D 动作识别方面也取得了竞争性能。
Apr, 2023
我们提出了一种新颖的无监督骨架动作识别系统,该系统基于编码器 - 解码器递归神经网络,可以无需提供任何标签或摄像头深度输入,并可在各维度的身体关键点(2D 或 3D)和附加提示描述移动的情况下操作,并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能,且与有监督骨架动作识别表现相似。
Nov, 2019
将动作识别方法集成到自主机器人系统中,考虑目标遮挡的不利情况是至关重要的。我们提出了一种简单有效的方法,通过预训练使用遮挡的骨架序列,然后使用 KMeans 对序列嵌入进行聚类,以填补缺失的骨架数据,从而为现有基于骨架的自监督模型带来显著的好处。同时,在 Partial Spatio-Temporal Learning (PSTL) 的基础上,我们引入了一种新的 Occluded Partial Spatio-Temporal Learning (OPSTL) 框架,利用 Adaptive Spatial Masking (ASM) 更好地利用高质量完整的骨架数据。我们的填补方法的有效性在具有挑战性的 NTURGB+D 60 和 NTURGB+D 120 的遮挡版本上得到了验证。
Sep, 2023