本文提出了一种新颖的基于知识蒸馏的模型压缩框架，在学生集成中启用了同时学习的知识蒸馏，并在压缩的学生模型上蒸馏同时学到的集成知识，该方法在不需要预训练权重的情况下同时训练了压缩学生和集成教师。该方法可以交付多个压缩的学生，并且使用我们的框架，可以以高效和灵活的方式适应不同场景。实验结果表明，使用我们的框架，一个压缩率达 97% 的 ResNet110 学生模型在 CIFAR100 数据集上相对精度提高了 10.64％，类似地，一个压缩率达 95％的 DenseNet-BC （k = 12）模型相对精度提高了 8.17％。

Nov, 2020

本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

Nov, 2020

探讨了深度学习模型集合如何提高测试准确率，以及如何使用知识蒸馏将集合的优越性能提取到单个模型中。并在此基础上，提出了一种新的理论，解释了在数据具有 “多视图” 结构的情况下，各自独立训练的神经网络集合确实可以明显提高测试准确率，而这种优越的效果也可以通过训练单个模型来匹配集合输出来证明，结果揭示了在深度学习中，集合模型以及 “黑暗知识” 是如何作用于知识蒸馏中的。最后，还证明了自身蒸馏也可以看作是隐式地组合集合模型和知识蒸馏以提高测试准确率。

Dec, 2020

通过将一个 ensemble 中的知识压缩成单个模型的方法，我们可以显著提高基于 MNIST 数据集的模型性能并将这种方法应用于商业系统的声学模型，同时我们还提出了一种由专家模型和完整模型组成的新型 ensemble。

Mar, 2015

本文提出了一种多自监督语音模型集成的方法，通过使用层次平均聚合不同教师模型的表示，并为学生模型提出了多重预测头方法，从而大大提高了四个下游语音处理任务的性能，并在 SUPERB 基准的隐藏集轨道中取得了显著的成果。

Feb, 2023

本文提出了一种有效的集成知识蒸馏方法，该方法能够从多个教师模型学习未标记数据的知识，并据此训练单个学生模型。研究表明，通过考虑不同教师之间的预测差异以及样本难度，可以进一步提高蒸馏的效果。

Apr, 2022

提出了一种新的知识蒸馏框架，利用神经架构搜索技术和神经网络来学习深度神经网络教师模型以获得高效的学生模型。该方法通过减少教师和学生之间的模型容量差距，从而最大化从教师模型进行蒸馏的收益，我们在基于 CIFAR-100 和 TinyImageNet 的图像分类数据集上进行了广泛的实验，并通过神经架构搜索技术发现新的学生模型，其在准确性和内存使用上都比教师模型表现更好。

Nov, 2019

本研究提出了一种嵌入知识蒸馏机制的深度级联动态神经网络 (DDNN)，通过 Kullback-Leibler 散度和自注意力蒸馏在在线知识蒸馏中获得多个高精度子网络，以提高子网络的泛化能力，从而在 CIFAR-10/100 和 ImageNet 数据集上实现了 better performance than individually training networks while preserving the original performance of full-nets。

Mar, 2021

FEED 是一种有效的知识蒸馏（knowledge distillation）方法，旨在通过特征映射级别的集成学习，将多个教师网络的知识传递给学生网络，提高其泛化能力，同时在测试时不引入额外的参数或计算。

Sep, 2019

本文提出了一种名为 KDFM（含有特征映射的知识蒸馏）的方法，通过学习教师网络的功能映射来提高知识蒸馏的有效性，并在实验中得出使用 4 层 CNN 模仿 DenseNet-40 和使用 MobileNet 模仿 DenseNet-100，对于 CIFAR-100 数据集，学生网络与教师模型相比准确率损失小于 1％，并且学生网络的推理速度是教师模型的 2-6 倍，而 MobileNet 的模型大小小于 DenseNet-100 的一半。

Dec, 2018