Jun, 2024

基于部分感知的语言和骨架的零样本动作识别统一表示

PDF
TL;DR通过 Part-aware Unified Representation between Language and Skeleton (PURLS) 方法，本文介绍了一种针对无监督骨架动作识别的新方法，通过在本地和全局尺度上探索视觉语义对齐，引入新的提示模块和划分模块生成对齐的文本和视觉表示，并在多个数据集上进行评估，结果显示 PURLS 具有普适性和卓越的性能。
zero-shot recognitionvisual-semantic alignmentskeleton-based action recognitionpurlsadaptive sampling strategy
发现论文，激发创造
  • 基于骨架的动作理解的统一多模态无监督表示学习

    无监督预训练及早融合策略的统一多模态无监督表示学习框架（UmURL）旨在提取骨架输入的统一表示，通过特征分解和对齐保证多模态特征包含各模态的完整语义，并在各种场景中实现鲁棒动作理解。该框架在三个大规模数据集上取得了新的多种下游任务场景中骨架 - based 动作表示学习的最先进性能。

    Nov, 2023

  • 基于骨架的动作识别语言监督训练

    本研究提出了一种基于骨架的动作识别的语言监督训练方法。该方法利用了大规模的语言模型作为知识引擎，生成描述动作的文本描述，为不同的身体部位生成特征向量，并通过语言编码器监督骨架编码器进行动作表示学习，相对于其他模型，达到了新的技术水平。

    Aug, 2022

  • 细粒度的辅助信息引导的零样本骨架动作识别

    通过侧面信息和双提示学习，我们提出了一种用于基于骨架的零样本动作识别（STAR）的新方法，以精细级别对骨架和语义空间进行对齐，从而区分高相似动作类别。我们在 NTU RGB+D、NTU RGB+D 120 和 PKU-MMD 数据集上进行了广泛实验，结果表明我们的方法在 ZSL 和 GZSL 设置上取得了最先进的性能。

    Apr, 2024

  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • 零样本基于骨架的动作识别的信息补偿框架

    从信息论的角度设计信息补偿学习框架，通过多粒度语义交互机制来提高零样本动作识别准确性，并提出多层次对齐方法对动作类别的信息进行补偿，利用新的损失函数采样方法获得紧密且鲁棒的表示，进而通过合成多粒度语义嵌入形成适当的分类决策面，验证多粒度语义特征有助于区分具有相似视觉特征的动作簇。

    Jun, 2024

  • 自监督行为识别的部位感知对比学习

    提出一种基于关注机制的对比学习框架，用于骨架序列的表征学习，因为人体动作特征的语义区分常常由局部身体部位表示，如腿部或手部等，这对于基于骨架的动作识别是有优势的，并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习，从而提高了基于骨架的动作表征的准确度。

    May, 2023

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • 探索人工解析模式用于动作识别

    采用人体解析特征图作为一种新的模态，结合骨架和人体解析模态，提出了一种新的双分支框架（EPP-Net），通过后期融合策略有效地结合两种高级特征以实现更好的动作识别。

    Jan, 2024

  • 基于自举方法的骨架动作识别表示学习

    本文研究了自监督表示学习在三维骨架动作识别中的应用，提出了一种包括两个不对称变换管道的数据增强策略和一种多视角采样方法，利用无标签样本从更宽的网络进行知识蒸馏，实验表明该方案在 NTU-60 和 NTU-120 数据集上表现优于当前的半监督方法和线性评估基准。

    Feb, 2022

  • 自主学习的骨架动作表示学习：基准及更多

    本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述，将现有研究根据预训练方法学科进行分类，提出了一种综合多个先验任务的新型骨架自监督学习方法，大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明，该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。

    Jun, 2024