本研究提出了一种新颖的渐进式骨架到传感器知识蒸馏模型 (PSKD)，利用智能手表的时间序列数据，解决佩戴式传感器人类动作识别问题。通过构建多个教师模型和学生模型，设计了一种自适应置信度语义 (ACS) 损失函数。实验结果表明，PSKD 方法在 Berkeley-MHAD、UTD-MHAD 和 MMAct 数据集上具有与之前的单传感器 HAR 方法相比的竞争性能。

Aug, 2022

研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

Oct, 2019

本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

Dec, 2023

本研究提出了一种新的多模态视频动作识别方法，利用 RGB 数据以外的深度数据进行训练，在测试时利用 RGB 数据进行分类，通过精简网络来进行深度特征的提取，经过实验得到了目前最佳的分类结果。

Jun, 2018

本研究将预训练语言模型中的知识转移应用于视觉模型中，以提高动作预测的效果，实验表明简单的蒸馏技术可以在两个动作预测数据集上实现一定的相对增益。

Oct, 2022

本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

Sep, 2022

我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人体动作识别中的有效性。

Jun, 2024

基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

May, 2024

黑暗视频常常丢失关键信息，这导致网络所学到的知识不足以准确识别动作。现有的知识汇集方法需要大量 GPU 内存，将多个教师模型的知识提炼到一个学生模型中。在动作识别中，这个缺点由于视频处理需要大量计算而变得严重。受限于有限的计算资源，这些方法是不可行的。为了解决这个问题，在本文中我们提出了无限知识提炼（UKD）方法。与现有的知识汇集方法相比，我们的 UKD 可以有效地汇集不同的知识而不引入高 GPU 内存消耗。因此，进行提炼的教师模型数量是无限的。通过我们的 UKD，网络所学到的知识可以得到显著丰富。我们的实验证明，单流网络经过我们的 UKD 提炼甚至超过了双流网络。在 ARID 数据集上进行了大量实验。

Aug, 2023

结合增加的预期寿命和下降的出生率导致人口老龄化问题，可穿戴传感器技术的人体活动识别成为一种有着巨大潜力的辅助技术来支持老年人的日常生活，近期的研究聚焦于深度学习方法或单一传感器模态，为了给机器带来类似的智能，多模态机器学习成为研究者们热衷的领域之一，本研究从新颖的视角对多模态学习在可穿戴传感器技术的人体活动识别领域的应用进行全面调查，包括探索最近的传感器模态和深度学习方法，研究目前的多模态系统的技术，以及解决现有问题的多模态学习方法，同时连接其他领域的多模态文献与当前的可穿戴传感器技术的人体活动识别领域，最后识别出当前领域的挑战和潜在研究方向以进一步提升该技术的性能。

Apr, 2024