我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人体动作识别中的有效性。

Jun, 2024

黑暗视频常常丢失关键信息，这导致网络所学到的知识不足以准确识别动作。现有的知识汇集方法需要大量 GPU 内存，将多个教师模型的知识提炼到一个学生模型中。在动作识别中，这个缺点由于视频处理需要大量计算而变得严重。受限于有限的计算资源，这些方法是不可行的。为了解决这个问题，在本文中我们提出了无限知识提炼（UKD）方法。与现有的知识汇集方法相比，我们的 UKD 可以有效地汇集不同的知识而不引入高 GPU 内存消耗。因此，进行提炼的教师模型数量是无限的。通过我们的 UKD，网络所学到的知识可以得到显著丰富。我们的实验证明，单流网络经过我们的 UKD 提炼甚至超过了双流网络。在 ARID 数据集上进行了大量实验。

Aug, 2023

本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

Dec, 2023

我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。

Mar, 2019

本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

Dec, 2019

通过引入决策 - 注意力模块，我们提出了一种在线学习框架，不依赖于教师策略，能够在相同环境下不同策略之间转移知识，提高深度强化学习任务的性能。实验证明，我们的方法在不同任务中，相比于独立训练策略，在 PPO 和 DQN 算法上表现更好，有效地实现了不同策略间的知识转移，使智能体获得更多奖励。

Jun, 2024

本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

Aug, 2021

本研究提出一种称为图蒸馏的方法，该方法在多模态视频中处理行动检测，其中仅有有限的训练数据和部分观察到的模态可用，并通过在源域中的大规模多模态数据集中使用丰富的特权信息来提高目标域的学习效果，从而克服了训练和测试之间的模态差异，并在 NTU RGB + D 和 PKU-MMD 基准测试中明显优于现有技术。

Nov, 2017

提出了一种基于知识集成和知识蒸馏的活动物体检测方法，通过提供关于物体相关的可行交互信息来改善活动物体检测，实现了当前最先进的性能。

May, 2024

本文旨在探讨数据无关知识蒸馏的安全问题并提出了 Anti-Backdoor Data-Free KD，这是第一个用于缓解潜在后门被转移的数据无关 KD 方法的防御性插件。

Jun, 2023