本文提出并研究了一种名为 Nasty Teacher 的概念，即一种特殊训练的教师网络，可以显著降低通过模仿它学到的学生模型的性能。我们提出了一个简单而有效的算法来构建 Nasty Teacher，称为自我破坏知识蒸馏，通过对数个数据集的实验，证明了这种方法对于标准的 KD 和无数据 KD 都是有效的，首次为模型所有者提供了所需的 KD 免疫力。

May, 2021

通过在训练数据中结合稀疏输出与对抗样本，以增强教师模型对学生模型的防御，我们的研究引入了一种保护其输出的教师模型的方法，从而减少了对整体性能的影响。

Mar, 2024

本文研究知识蒸馏在模型压缩和知识传递方面的广泛应用，并指出了知识蒸馏泄露教师模型训练数据风险存在。为了解决这个问题，我们提出了一种新的知识蒸馏方法，Swing Distillation，可以有效地保护教师模型的私有信息不被传递给学生模型。该方法可根据数据中包含的私有信息程度动态地自适应调整温度系数，使不同位置上的 token 被赋予不同的温度。此外，我们还向提供给学生模型的软目标注入噪声，以避免未加保护的知识传递。实验表明，与具有竞争或更好性能的 KD 相比，所提出的 Swing Distillation 可以显著降低（达到 80％以上的比较鲜明风险暴露水平）私人信息泄漏的风险，且鲁棒性能提高。

Dec, 2022

该项目研究深度神经网络中的对抗攻击并探讨防御性蒸馏的方法，提出通过引入辅助网络来改善蒸馏模型的鲁棒性，并通过实验证明该方法的有效性及其对模型准确性的影响。

May, 2023

本文旨在探讨数据无关知识蒸馏的安全问题并提出了 Anti-Backdoor Data-Free KD，这是第一个用于缓解潜在后门被转移的数据无关 KD 方法的防御性插件。

Jun, 2023

在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

Nov, 2023

本研究评估了知识蒸馏的有效性以及它对学生和教师体系的依赖性。发现较精确的教师并不一定是好教师，且大型模型并不总是更好的教师，这导致了容器不匹配的问题，本研究表明教师的训练中止可以缓解这种效应，这些结果适用于各种数据集和模型。

Oct, 2019

本文探讨了知识蒸馏（KD）中的师生对相对可靠性的问题，提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准，同时介绍了一种忠实蒸馏方法，其在 MNIST 和 Fashion-MNIST 数据集上的实验表明了其优越性。

Jun, 2023

该研究致力于通过利用知识蒸馏过程中的未标记数据，在不引起教师模型明显异常行为的情况下，向学生模型中嵌入木马攻击，从而最终设计出一种可以有效降低学生模型准确性、不改变教师模型性能且在实践中构造高效的 Trojan 攻击。

Mar, 2023

通过一系列的实验，我们发现知识蒸馏 (distillation) 在教师网络存在低置信度的点的时候，会使得学生网络的置信度更低，而之后引入知识蒸馏 (loss) 会恢复部分性能，同时我们提供了两种理论视角来理解这种现象，作为特征空间的正则化项和梯度去噪器。

Jan, 2023