本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。
Jun, 2023
本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。
Feb, 2021
本文介绍如何通过局部分区域精细地传递分类和定位知识，实现 logit mimicking 在目标检测领域中的优化，提高模型性能和准确性，理论上证明了定位蒸馏和分类蒸馏具有等效的优化效果。
Apr, 2022
提出一种新颖的多标签知识蒸馏方法，通过将多标签学习问题分解为一组二元分类问题，并利用标签间嵌入的结构信息来增强学习特征表示的独特性，避免标签间的知识对抗，从而在多个基准数据集上实现了优越的性能。
Aug, 2023
该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。
May, 2021
对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。
利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。
Nov, 2020
本文针对面部识别中 logits 蒸馏的性能较差问题，提出分组知识蒸馏算法组（GKD），通过分割 logits 并将蒸馏分为主要知识，次要知识和二进制知识，仅保留主要知识和二进制处理，忽略次要知识，从而提高轻量级学生模型的性能
Apr, 2023
本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏，其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息，并使用关注机制来度量不同特征的贡献，通过本地化识别敏感辅助任务进行指导，实验结果展示了我们方法的有效性。
Oct, 2021
通过综合考虑分类和回归任务的重要性差异，在目标检测中提出了一种能够应对知识蒸馏中偏见预测问题的方法。
Apr, 2024