该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

Jun, 2020

本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

Dec, 2021

研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

Aug, 2021

本研究提出了一种名为 DeFeat 的新型知识蒸馏算法，通过解耦区域特征和分类头提议来提高学生检测器的性能，以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明，DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。

Mar, 2021

本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

Feb, 2021

本文介绍如何通过局部分区域精细地传递分类和定位知识，实现 logit mimicking 在目标检测领域中的优化，提高模型性能和准确性，理论上证明了定位蒸馏和分类蒸馏具有等效的优化效果。

Apr, 2022

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023

本文提出了一种更本质的知识蒸馏方法，通过测量老师和学生探测器的两个特征空间中的一组公共基向量关于实例的表示来度量全局知识，使用样本空间对齐的方式将知识蒸馏应用于构建全局知识，以过滤噪声的全局和本地知识，并证明了该方法的有效性。

Oct, 2022

该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

May, 2021

利用 discriminative instances，我们提出了一个叫做 general instance distillation（GID）的检测任务中的知识蒸馏方法，其学生模型在不同的检测框架中都实现了显著的 AP 改进，甚至在 COCO 数据集上超过了教师模型。

Mar, 2021