本文提出了一种元知识蒸馏（MKD）方法，利用可学习的元温度参数进行元学习，通过适应学习目标的梯度自适应地调整元参数以解决知识蒸馏（KD）的退化问题，从而在不同数据集规模、不同网络和不同数据扩增类型上实现了与当下最优秀方法相当的性能表现。

Feb, 2022

本研究提出了用元学习结合知识蒸馏的方法（MetaDistil），可以在固定教师网络期间更好地向学生网络转移知识。在多个实验基准上，MetaDistil 可以比传统的知识蒸馏算法产生更显著的改进，并且对不同的学生容量和超参数的选择不太敏感，有助于在不同的任务和模型上使用知识蒸馏。

Jun, 2021

提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

Nov, 2020

本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

Nov, 2019

本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

Feb, 2020

我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

Mar, 2021

基于知识蒸馏，提出了一种新的单阶段方法 “不同领域之间的直接蒸馏”(4Ds)，通过可学习的适配器和融合 - 激活机制，实现了从教师网络到学生网络的跨领域知识转移，取得了可靠的学生网络性能并超过了现有方法。

Jan, 2024

在跨领域模型压缩方面，我们提出了一种新颖的端到端框架，称为 Universal and joint knowledge distillation (UNI-KD)，通过对抗学习方案将源域和目标域之间的通用特征级知识和共享的对数级知识从教师模型传递给学生模型，实现了模型的压缩。在四个时间序列数据集上进行的广泛实验结果表明，我们提出的方法优于最先进的基准模型。

Jul, 2023

本研究采用层次化关系知识蒸馏方法压缩预训练语言模型，结合元学习以及领域关系图来捕捉不同领域的关系信息，在多领域数据集上实验证明该方法的性能优越性，以及它强大的少样本学习能力。

Oct, 2021

本文提出了自适应多教师知识蒸馏与元学习，以指导学生从量身定制的集成教师中获得适当的知识。通过元权重网络的辅助，将输出层和中间层中多样但兼容的教师知识联合利用，以增强学生的表现。在多个基准数据集上进行的广泛实验验证了本方法的有效性和灵活性。

Jun, 2023