利用 discriminative instances，我们提出了一个叫做 general instance distillation（GID）的检测任务中的知识蒸馏方法，其学生模型在不同的检测框架中都实现了显著的 AP 改进，甚至在 COCO 数据集上超过了教师模型。

Mar, 2021

该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

May, 2021

本文提出一种基于标签引导的注意力蒸馏方法（LGAD），用于训练分割网络以更好地捕捉诸如车道标记之类的长程上下文信息。通过将标签结构信息嵌入教师网络中，并利用其注意力图作为学生网络的监督信号，能够显著提高学生网络的训练效果。

Apr, 2023

本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

Feb, 2021

本论文研究小型模型的预训练问题，提出了一种名为 Language-Guided Distillation (LGD) 的新方法，利用语言指导来帮助在大型网络和小型模型之间传递知识，实现优于现有方法的性能，验证了在分类、检测和分割等多个下游任务中的卓越表现。

Jun, 2024

本文提出了一种用于改善现有 3D 目标检测器的特征学习的标签指导辅助训练方法，该方法包括两个模块：一个用于将注释和点云映射到特定任务表示的标签注释诱导器和一个协助原始特征获取检测关键表示的标签知识映射器。在室内和室外数据集上的广泛实验验证了该方法的有效性。

Jul, 2022

本文提出了 Label Assignment Distillation (LAD) 和 Co-learning LAD 用于目标检测中标签分配的问题，实验结果表明 LAD 更有效且可与 soft-label 相结合，以及使用较小的 Teacher 网络也能够显著提高表现。

Aug, 2021

本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

Apr, 2021

提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

Aug, 2022

本文提出了一种新的知识蒸馏方法 Masked Generative Distillation (MGD)，通过引导学生的特征恢复，使用简单的掩码方式强制学生生成教师的完整特征，应用于图像分类、目标检测等各种任务中均表现良好。

May, 2022