Apr, 2024

通过部分知识蒸馏提高低质量骨架数据的动作识别能力

PDF
TL;DR为解决低质量骨架动作识别问题，本文提出了一个通用的知识蒸馏框架，利用师生模型结构和基于部分的骨架匹配策略，通过多样本对比损失实现从高质量到低质量骨架的知识迁移，进而训练出可以处理低质量骨架的学生模型。实验证明了该知识蒸馏框架的有效性。
skeleton-based action recognitionlow-quality skeletonsknowledge distillationpart-based skeleton matching strategymulti-sample contrastive loss
发现论文，激发创造
  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • 深度视频中的多模态多部分学习与动作识别

    提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

    Jul, 2015

  • 零样本基于骨架的动作识别的信息补偿框架

    从信息论的角度设计信息补偿学习框架，通过多粒度语义交互机制来提高零样本动作识别准确性，并提出多层次对齐方法对动作类别的信息进行补偿，利用新的损失函数采样方法获得紧密且鲁棒的表示，进而通过合成多粒度语义嵌入形成适当的分类决策面，验证多粒度语义特征有助于区分具有相似视觉特征的动作簇。

    Jun, 2024

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • DL-KDD: 暗光条件下行动识别的双光知识蒸馏

    我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人体动作识别中的有效性。

    Jun, 2024

  • 基于多尺度时空骨架匹配的一次性动作识别

    本文提出一种新的一次性骨架动作识别技术，通过多尺度空间和时间特征匹配处理骨架动作识别，实现了优秀、卓越的一次性骨架动作识别，并在诸多大规模数据集上，持续超越当前最先进的方法。

    Jul, 2023

  • 基于生成模型的特征知识蒸馏用于行为识别

    本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

    Dec, 2023

  • 基于骨架的动作识别中学习判别性表示

    本文提出了一个辅助的特征细化头（FR Head），通过空间 - 时间分解和对比特征细化来识别骨架的歧义样本，从而强化对多层的监督，并在多个数据集上进行了广泛的实验，得到了与最先进方法相竞争的结果。

    Mar, 2023

  • 利用骨架指导的学习场景流进行三维动作识别

    本研究提出了一种基于 3D 流的增量二级空间注意机制，通过骨骼域引导，强调靠近身体关节区域的运动特征及其信息性，并提出了扩展的深度骨骼模型，用于学习最具有判别力的动作运动动力学，从而评估每个关节的信息性得分，并采用两个模型之间的后期融合方案来学习高水平的跨模态相关性，实验结果在当前最大和最具挑战性的数据集 NTU RGB+D 上表明，所提出的方法的有效性达到了最先进的水平。

    Jun, 2023

  • 自监督行为识别的部位感知对比学习

    提出一种基于关注机制的对比学习框架，用于骨架序列的表征学习，因为人体动作特征的语义区分常常由局部身体部位表示，如腿部或手部等，这对于基于骨架的动作识别是有优势的，并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习，从而提高了基于骨架的动作表征的准确度。

    May, 2023