Jul, 2023

联合对抗协作学习用于自监督动作识别

PDF
TL;DR本文提出了一个基于对比学习的模型 SkeletonBYOL，以及一个结合了跨模型对抗学习（CMAL）和跨流协作学习（CSCL）的联合框架 ACL，用于骨架姿态下的行为识别任务。实验结果表明该方法在多个数据集和评估协议下均实现了优异的性能。
contrastive learningself-supervised learningaction recognitionskeleton dataensemble learning
发现论文，激发创造
  • 基于自监督的骨架行为识别的跨流对比学习

    本文提出了一种基于骨架的自监督动作识别框架，采用跨流对比学习来设计硬样本对，结合积极变换策略，提高了对复杂动作模式的处理能力，并表现出优于三个基准数据集的效果。

    May, 2023

  • 自监督行为识别的部位感知对比学习

    提出一种基于关注机制的对比学习框架，用于骨架序列的表征学习，因为人体动作特征的语义区分常常由局部身体部位表示，如腿部或手部等，这对于基于骨架的动作识别是有优势的，并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习，从而提高了基于骨架的动作表征的准确度。

    May, 2023

  • 自监督动作识别的极度增广骨架序列对比学习

    本文提出了一种利用极端数据增强和丰富信息挖掘来改进运动表示学习的对比学习框架 (AimCLR)，通过大量实验得出了其在三个数据集上的显着优越性。

    Dec, 2021

  • 基于层次一致对比学习及增长增强的骨架动作识别

    本文提出了一种基于骨骼的行为识别的一般性逐层一致对比学习框架 (HiCLR)，并探索了使用强数据增强进行对比学习的潜力，同时提出了一个不对称损失以保证其鲁棒性，实验表明该方法在 NTU60、NTU120 和 PKUMMD 等三个大型数据集上优于现有技术。

    Nov, 2022

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024

  • 基于对比重构的自监督骨架动作识别表示学习

    该论文提出了一种名为 CRRL 的新型对比重建表示学习网络，它通过无监督学习方式，同时捕捉姿态和运动动态，从而提高无标签数据的骨骼动作识别效果。在实验上，该方法在多个基准数据集上远远优于现有技术水平。

    Nov, 2021

  • 基于增强骨架对比动作学习和动量 LSTM 的无监督动作识别

    该论文提出了一种基于对比学习的行动识别新范例，并使用多种新型增强策略来对未标记的骨架序列数据进行对比，从而学习动作表示，并展示了该方法在无监督学习中的优异性能。

    Aug, 2020

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024