本文介绍如何通过局部分区域精细地传递分类和定位知识，实现 logit mimicking 在目标检测领域中的优化，提高模型性能和准确性，理论上证明了定位蒸馏和分类蒸馏具有等效的优化效果。

Apr, 2022

本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。

Jun, 2023

研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

Aug, 2021

本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

Jun, 2019

本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

May, 2022

提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

Oct, 2023

本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

Dec, 2021

本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏，其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息，并使用关注机制来度量不同特征的贡献，通过本地化识别敏感辅助任务进行指导，实验结果展示了我们方法的有效性。

Oct, 2021

该论文提出前景和全局蒸馏技术（FGD），将知识蒸馏方法成功地应用于目标检测任务，通过前景蒸馏和全局蒸馏对学生网络进行训练，实现了对教师网络的知识迁移，取得了显著的 mAP 改进。

Nov, 2021

本文提出了一种基于结构相似性的知识蒸馏替代方法，通过考虑特征空间的对比度、结构线索、相关性和空间依赖性，在中间特征层面进行指导。在 MSCOCO 上的实验表明，这种方法简单易行、计算开销小，同时在不同的训练方案和网络架构上都能显著提高模型性能。

Nov, 2022