Aug, 2023

通过掩蔽运动建模的激发对比：走向多功能的 3D 动作表示学习

PDF
TL;DR我们提出了 Prompted Contrast with Masked Motion Modeling (PCM3) 方法，通过互惠方式集成了对比学习和遮挡预测任务，极大地提高了在不同下游任务中的泛化能力。通过减少学习两个不同训练任务造成的干扰，并通过掩模预测为对比学习提供了新视角，指导了高级语义信息的预测训练。与现有的工作相比，在三个大规模数据集上进行了大量实验证明了 PCM3 方法的卓越泛化能力。
发现论文，激发创造
  • 面具化运动预测器是强大的三维动作表示学习器

    本文提出了一种用于 3D 动作识别的 Masked Motion Prediction（MAMP）框架，通过对蒙面的空间 - 时间骨骼序列进行预测，实现对丰富语义区域的更好关注，进而提高自监督预训练的性能。经过对 NTU-60、NTU-120 和 PKU-MMD 数据集的广泛实验，表明所提出的 MAMP 预训练方法显著提高了基础的 transformer 模型的性能，并取得了最先进的结果。MAMP 的源代码可以在给定的网址上找到。

    Aug, 2023

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • 基于遮蔽建模的自监督视觉及其它领域的表征学习

    近年来，自监督学习因其出色的表示学习能力和对标注数据低依赖性而备受关注。文中综合评述了遮蔽建模框架及其方法学，并详细介绍了遮蔽建模中的技术细节，包括各种遮蔽策略、恢复目标、网络架构等。该框架在计算机视觉、自然语言处理和其他领域表现出了出色的性能，并探讨了不同领域中遮蔽建模方法的共性和差异。最后，讨论了当前技术的局限性并指出了几个可能的研究方向。

    Dec, 2023

  • SimMC: 通过简单的遮蔽对比学习骨架表示，实现无监督的人员再识别

    本研究提出了一种基于无标签三维骨架的人物再识别的学习框架，包括原型对比学习方案和序列内部模式一致性对比学习方案，用于学习判别骨架表示。实验表明，所提出的方法胜过大多数现有的骨架方法并具有良好的可扩展性和效率。

    Apr, 2022

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 自监督动作识别的极度增广骨架序列对比学习

    本文提出了一种利用极端数据增强和丰富信息挖掘来改进运动表示学习的对比学习框架 (AimCLR)，通过大量实验得出了其在三个数据集上的显着优越性。

    Dec, 2021

  • HumanMAC: 用于人体动作预测的遮挡运动补全技术

    本文提出了一种基于去噪扩散的新框架，通过训练一个运动扩散模型来生成运动，然后通过去噪过程实现在观察到的运动条件下进行运动预测，并在现实任务中有效地实现了不同类别运动的切换，取得了良好的算法性能和结果。

    Feb, 2023

  • 自主学习的骨架动作表示学习：基准及更多

    本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述，将现有研究根据预训练方法学科进行分类，提出了一种综合多个先验任务的新型骨架自监督学习方法，大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明，该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。

    Jun, 2024