本文探讨了如何通过知识蒸馏来压缩 MNMT 模型，发现这是一项具有挑战性的任务，并提出了一些设计思考和优化方案。

Apr, 2023

我们介绍了一种称为 Retrieval-based Knowledge Transfer (RetriKT) 的新型压缩模型的方法，通过从大规模预训练语言模型中提取知识，构建一个知识存储库，小规模模型可以从中检索相关信息并利用它进行有效推理，实验证明该方法显著提升了小规模模型的性能。

Oct, 2023

针对 transformer-based pre-trained language models 在实际应用中过大且延迟高的问题，该研究提出一种基于 knowledge distillation 的压缩方法，并通过系统实验对比分析知识类型、匹配策略、模型大小等多方面，最终提供一套最佳实践指南。

Jun, 2022

本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

Jul, 2021

本文提出了一种新的知识迁移技术，能够训练一个学生模型，使其保持与教师模型之间相同数量的互信息，与现有的 KT 方法相比，该方法能够克服一些局限性，并提供新的 KT 应用。

Mar, 2018

我们提出了一个名为 Q-MCKT 的基于问题中心的多专家对比学习框架，用于知识追踪，以解决应用深度学习技术建模知识追踪过程时面临的挑战。

Mar, 2024

提出了一种无需训练集的知识蒸馏方法，仅利用预训练模型释放的一些额外元数据，就能将大规模数据集上训练的深度神经网络压缩到其大小的一小部分，并探索了可用于该方法的不同类型的元数据以及使用它们所涉及的权衡。

Oct, 2017

我们提出了一种多任务知识蒸馏模型，通过从多个教师模型中提取知识，向轻量级学生模型进行蒸馏，从而解决了将复杂模型应用于实际业务场景的问题，同时加速了模型推理并取得了比基线方法更好的结果以及与原始教师模型相当的结果。

Apr, 2019

本文提出了一种新颖的知识迁移方法，将其视为分布匹配问题，通过匹配教师和学生网络之间的神经元选择模式的分布，设计了一种新的知识迁移损失函数来最小化最大平均差异（MMD）值，通过与原始损失函数结合使用，有效提高了学生网络的性能，并在多个数据集上验证了方法的有效性。

Jul, 2017

该论文从知识分类、训练方案、教师 - 学生架构、蒸馏算法、性能比较和应用等方面全面调查了知识蒸馏。并简要回顾了知识蒸馏中的挑战，并探讨了未来的研究方向。

Jun, 2020