Sep, 2023

提升基于骨架的行为识别与高效多模态自监督

PDF
TL;DR自我监督表示学习在人体动作识别方面得到了快速发展。本文首先提出了一种隐式知识交换模块（IKEM），用于减轻低性能模态之间的错误知识传播。然后，我们进一步提出了三种新模态来丰富不同模态之间的互补信息。最后，通过锚点、正样本和负样本之间的约束关系，我们提出了一种新的教师 - 学生框架，将次要模态的知识蒸馏到强制性模态中，名为关系型跨模态知识蒸馏。实验证明了我们方法的有效性，可以高效利用基于骨架的多模态数据。源代码将公开发布在给定的网址。
self-supervised representation learninghuman action recognitionimplicit knowledge exchange modulenew modalitiesrelational cross-modality knowledge distillation
发现论文，激发创造
  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • 基于骨架的动作理解的统一多模态无监督表示学习

    无监督预训练及早融合策略的统一多模态无监督表示学习框架（UmURL）旨在提取骨架输入的统一表示，通过特征分解和对齐保证多模态特征包含各模态的完整语义，并在各种场景中实现鲁棒动作理解。该框架在三个大规模数据集上取得了新的多种下游任务场景中骨架 - based 动作表示学习的最先进性能。

    Nov, 2023

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 深度视频中的多模态多部分学习与动作识别

    提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

    Jul, 2015

  • 跨模态知识蒸馏用于动作识别

    研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

    Oct, 2019

  • 基于骨架序列和 RGB 帧的多模态特征融合网络用于动作识别

    本文研究动作识别，提出一种基于多模态特征融合网络的方法，将骨架序列和 RGB 帧的关键信息相结合，以此保留补充信息的同时大大降低了其网络的复杂性。实验表明，所提出的模型能够与现有最先进的方法相比取得竞争性的表现。

    Feb, 2022

  • 通过互信息估计与最大化进行零样本基于骨架的动作识别

    通过相互信息估计和最大化，我们提出了一种基于零样本骨骼动作识别的新方法，通过最大化视觉和语义空间之间的相互信息来进行分布对齐，并利用时间信息来估计相互信息，以增加观察到的帧数。

    Aug, 2023

  • 零样本基于骨架的动作识别的信息补偿框架

    从信息论的角度设计信息补偿学习框架，通过多粒度语义交互机制来提高零样本动作识别准确性，并提出多层次对齐方法对动作类别的信息进行补偿，利用新的损失函数采样方法获得紧密且鲁棒的表示，进而通过合成多粒度语义嵌入形成适当的分类决策面，验证多粒度语义特征有助于区分具有相似视觉特征的动作簇。

    Jun, 2024

  • 人体动作识别的渐进式跨模态知识蒸馏

    本研究提出了一种新颖的渐进式骨架到传感器知识蒸馏模型 (PSKD)，利用智能手表的时间序列数据，解决佩戴式传感器人类动作识别问题。通过构建多个教师模型和学生模型，设计了一种自适应置信度语义 (ACS) 损失函数。实验结果表明，PSKD 方法在 Berkeley-MHAD、UTD-MHAD 和 MMAct 数据集上具有与之前的单传感器 HAR 方法相比的竞争性能。

    Aug, 2022