本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

Dec, 2020

提出一种称为预测不确定性增大（PrUE）的剪枝方法，通过减弱教师网络的确定性，生成学生网络所需的软性预测，从而提高学生网络性能。在 CIFAR-10/100，Tiny-ImageNet 和 ImageNet 上进行的实验证明，使用稀疏的教师网络训练学生网络可以达到更好的性能，并且该方法允许研究者从更深层的网络中提取知识以进一步提高学生性能。

Jul, 2022

本研究提出了一种基于密集的学生模型的知识集成方法，通过知识收集和知识蒸馏以获取关键知识并消除噪声，相对于传统的稀疏模型具有更高的精度和硬件友好性。

Jan, 2022

使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。

Mar, 2022

本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

Feb, 2021

该研究提出了参数有效的稀疏训练 (PST) 方法，通过减少可训练参数的数量以使得稀疏训练资源有效并具有参数效益，从而解决了稀疏训练时计算开销和内存占用的问题，在 BERT，RoBERTa 和 GPT-2 等网络上得到了有效验证。

May, 2022

本文提出了一种以先验知识为主要建模对象的知识表示框架，并设计了一种稀疏重编码惩罚，以约束学生网络的学习，从而在知识蒸馏过程中避免过度正则化和更快地收敛。实验表明，该框架即使目标网络的表示能力不如期望，仍然实现了最先进的性能表现，并且灵活易于与基于后验知识的其他知识蒸馏方法结合使用。

Nov, 2019

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018

本文提出了使用 BASELayers 的稀疏缩放架构来缓解多任务学习中高资源任务偏差的问题，并通过温度加热机制和密集预训练两种技术来提高多语言机器翻译的性能。该方法在两个多语言翻译基准测试中的收敛速度比标准的 BASELayers 和密集缩放基线快了两倍以上。

Oct, 2021

本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

Jun, 2022