本文提出了一种新的知识蒸馏方法，通过建模教师模型各层之间的信息流，训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题，并设计和训练了一个适当的辅助教师模型，作为一种代理模型，能够 “解释” 教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。

May, 2020

本文提出了一种新颖的知识蒸馏策略 -- 继承与探索知识蒸馏框架 (IE-KD)，它将学生模型分成两个部分，继承和探索。继承部分通过相似度损失将已有的知识从教师模型转移到学生模型，而探索部分通过不相似度损失鼓励学生模型学习与继承部分不同的特征表示，实验结果表明，IE-KD 能够提高学生网络的表现，达到 SOTA 水平。

Jul, 2021

本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

Apr, 2021

本文提出了一种名为 CrossKD 的知识蒸馏方法，该方法通过将学生的检测头的中间特征输出到老师的检测头，从而将跨头预测强制与老师的预测相同，以提高学生的检测性能，并在 MS COCO 上得到了验证，性能优于所有现有的目标检测方法。

Jun, 2023

知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

Sep, 2023

在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

Nov, 2023

本文研究神经机器翻译中知识蒸馏的技术，发现知识来源于教师的 top-1 预测，进一步提出一种名为 TIE-KD 的方法用于增强知识蒸馏，包含了层次排序损失和迭代蒸馏等措施，实验证明 TIE-KD 优于基准模型，具有更高的潜力和泛化性能。

May, 2023

本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

Nov, 2019

本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

Feb, 2020

本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

Nov, 2019