本文研究知识迁移领域的另一种方法：Born-Again Networks(BANs)，将学生的参数与老师的相同， 来达到比老师更好的性能表现。在计算机视觉和语言建模任务中， BANs表现出甚至比老师高出许多的性能得分，并且在各种规模的学生中，将知识从DenseNets到ResNets和反向传输，都显示出明显的优势

May, 2018

本文挑战了使用强大的teacher model教授弱student model的共识，详细阐述了KD和label smoothing regularization之间的关系，提出了Teacher-free Knowledge Distillation（Tf-KD）框架，通过自学和手动设计正则化分布，实现了与正常KD相媲美的性能。

Sep, 2019

本文讨论了知识蒸馏和S-T学习，提供了对知识蒸馏的解释以及该方法的最新进展、技术细节和视觉应用状况的全面调查，并分析了现有方法的潜力和挑战，展望了知识蒸馏和S-T学习的未来方向。

Apr, 2020

本文提出一种基于多个teacher assistant的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合teacher和student之间的巨大差距，实现了对student的更高效学习，并在CIFAR-10、CIFAR-100和ImageNet上的多个backbone架构中取得了显著的性能提升。

Sep, 2020

使用单张图片作为输入，通过知识蒸馏和图像增强技术训练神经网络，研究神经网络对视觉世界的学习能力，发现通过这种方法可以在多个数据集上实现较高的图像分类和目标识别精度。

Dec, 2021

本文介绍了一种名为 DIST 的方法，它可以更好地从一个更强的教师模型中进行知识蒸馏，通过保留教师和学生之间的预测关系，提出了基于相关损失的方法，从而实现了最先进的性能。

May, 2022

研究表明，利用动态先验知识的知识蒸馏方法可以更好地从大型模型向小型模型传递知识表示，提高学生模型的性能，在图像分类和目标检测等领域表现卓越。

Jun, 2022

本文提出了一种黑盒少样本知识蒸馏方法，使用MixUp和条件变分自编码器生成多样的合成图像进行训练，显著优于最新SOTA的少/零样本KD方法用于图像分类任务。

Jul, 2022

大型预训练视觉模型在多样的识别任务上表现出显著的泛化能力。然而，现实世界中的应用通常需要针对特定问题的紧凑模型。本文针对这一目的，提出了各种知识蒸馏的变体，使得特定任务的紧凑模型（学生）能够从通用的大型预训练模型（教师）中学习。我们展示了近期预训练模型出色的鲁棒性和多功能性挑战了文献中已经建立起来的共同实践，需要一组新的最优准则来进行特定任务的蒸馏。为了解决下游任务中样本不足的问题，我们还展示了一种基于稳定扩散的Mixup变体，该策略补充了标准数据增强，消除了工程化的文本提示的需求，改善了通用模型向精简专用网络的蒸馏。

Feb, 2024

本研究针对不同数据集训练的教师模型知识蒸馏问题提出了一种新颖的教师-学生框架。通过在多个表示层次上融合教师的特征，我们的多级特征蒸馏方法显著提升了模型在图像分类和动作识别任务上的性能，尤其在与仅基于单个数据集训练的模型比较时效果尤为显著。

Oct, 2024