黑暗视频常常丢失关键信息，这导致网络所学到的知识不足以准确识别动作。现有的知识汇集方法需要大量 GPU 内存，将多个教师模型的知识提炼到一个学生模型中。在动作识别中，这个缺点由于视频处理需要大量计算而变得严重。受限于有限的计算资源，这些方法是不可行的。为了解决这个问题，在本文中我们提出了无限知识提炼（UKD）方法。与现有的知识汇集方法相比，我们的 UKD 可以有效地汇集不同的知识而不引入高 GPU 内存消耗。因此，进行提炼的教师模型数量是无限的。通过我们的 UKD，网络所学到的知识可以得到显著丰富。我们的实验证明，单流网络经过我们的 UKD 提炼甚至超过了双流网络。在 ARID 数据集上进行了大量实验。

Aug, 2023

本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

Dec, 2023

本文提出了一种基于特权信息学习的在线动作检测框架，其中包括知识蒸馏方法和 Privileged Knowledge Distillation (PKD) 方法，以缩小信息差并提高学习性能，并在两个常用的 OAD 基准测试 TVSeries 和 THUMOS14 上取得了当前最佳性能.

Nov, 2020

提出了一种名为 DR-KD 的简单而有效的知识蒸馏框架，通过在传统训练中动态调整目标来使学生变成自身的教师，并在蒸馏信息时进行错误更正，从而消除了笨重的教师模型的必要性，并在需要分类或对象识别的任何深度神经网络训练中均可使用，能够在不增加额外训练成本的情况下较其他知识蒸馏方法显著提高 Tiny ImageNet 测试准确性 2.65％。

Jan, 2022

研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

Oct, 2019

本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

Sep, 2022

本研究将预训练语言模型中的知识转移应用于视觉模型中，以提高动作预测的效果，实验表明简单的蒸馏技术可以在两个动作预测数据集上实现一定的相对增益。

Oct, 2022

本文提出了一种基于领域自适应的行为识别方法，使用对抗学习在跨域场景中学习跨域动作识别，从而实现对低光条件下的人类行为进行识别，并在 InFAR 和 XD145 动作数据集上取得了 SOTA 表现。

Oct, 2022

为解决低质量骨架动作识别问题，本文提出了一个通用的知识蒸馏框架，利用师生模型结构和基于部分的骨架匹配策略，通过多样本对比损失实现从高质量到低质量骨架的知识迁移，进而训练出可以处理低质量骨架的学生模型。实验证明了该知识蒸馏框架的有效性。

Apr, 2024

提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

May, 2023