本文提出了一种有效的集成知识蒸馏方法，该方法能够从多个教师模型学习未标记数据的知识，并据此训练单个学生模型。研究表明，通过考虑不同教师之间的预测差异以及样本难度，可以进一步提高蒸馏的效果。

Apr, 2022

本文针对无数模型的集成、易受对抗攻击、敏感度等当前阅读理解系统的困境，提出基于知识蒸馏的方法，首先对纯知识蒸馏模型对答案跨度预测的有效性进行了论证，其次，提出两种创新方法，它们不仅惩罚了对混淆答案的预测，还利用了集成中蒸馏出来的对齐信息来指导训练。实验表明，我们的最佳学生模型在推理期间仅运行 12 倍的时间，与集成模型相比，在 SQuAD 测试集上仅有 0.4％的 F1 得分下降，在对抗 SQuAD 数据集和 NarrativeQA 基准测试中甚至胜过老师。

Aug, 2018

本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

Dec, 2020

本文介绍了一种将多个模型组成的模型集合体及其概率输出 match 到参考状态和使用模型集合体探索搜索空间，通过实验表明，这种蒸馏（distillation）方式可以有效提高模型性能，比之前的模型都表现良好。

May, 2018

该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

Jun, 2020

本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力

Apr, 2021

我们研究了无监督的成分句法分析任务，该任务将句子中的单词和短语组织成层次结构，而不使用语言学注释数据。我们观察到现有的无监督解析器捕捉了句法结构的不同方面，可以利用这些方面来提高无监督解析的性能。为此，我们提出了 “树平均” 方法，并进一步提出了一种新颖的无监督解析集成方法。为了提高推理效率，我们将集成的知识进一步融入到一个学生模型中；这种先集成后蒸馏的过程是缓解常见多老师蒸馏方法中存在的过度平滑问题的一种有效方法。实验证明，我们的方法超过了所有先前的方法，始终表现出其在各种运行，不同的集成组件和领域转移条件下的有效性和鲁棒性。

Oct, 2023

本文研究使用在线知识蒸馏方法，提出了一种 On-the-fly Native Ensemble (ONE) 策略，通过构建强大的 teacher 来提高目标网络的学习，该方法在多种深度神经网络上性能明显优于其他方法，并具有计算效率优势。

Jun, 2018

本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

Feb, 2021

本文提出了一种多自监督语音模型集成的方法，通过使用层次平均聚合不同教师模型的表示，并为学生模型提出了多重预测头方法，从而大大提高了四个下游语音处理任务的性能，并在 SUPERB 基准的隐藏集轨道中取得了显著的成果。

Feb, 2023