该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

Jun, 2020

提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

Jun, 2024

本文提出了一种条件蒸馏框架来对检测任务进行知识蒸馏，其中使用可学习的条件解码模块来检索每个目标实例作为查询的信息，并使用关注机制来度量不同特征的贡献，通过本地化识别敏感辅助任务进行指导，实验结果展示了我们方法的有效性。

Oct, 2021

本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

Sep, 2017

本研究提出了一种名为 DeFeat 的新型知识蒸馏算法，通过解耦区域特征和分类头提议来提高学生检测器的性能，以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明，DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。

Mar, 2021

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023

通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

Mar, 2024

在遥感环境下评估了各种现成的目标检测知识蒸馏方法，比较了其性能和相互关系，并确认在遥感数据集上结果聚合和交叉验证的重要性。

Jul, 2023

本文提出了一种基于细粒度特征模拟的知识蒸馏方法，以改善在复杂的目标检测任务中使用小型学生模型所遇到的性能瓶颈，通过估算目标附近的区域并让学生模型在这些区域上模仿教师模型，使得学生模型在性能表现上提高了 15% 到 74%。

Jun, 2019

本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

Feb, 2021