本研究介绍了一种防御机制，名为防御蒸馏，用于减少对深度神经网络的对抗样本的影响，并通过理论和实验证明了该机制在培训深度神经网络时具有通用性和鲁棒性。

Nov, 2015

本研究介绍了新型攻击算法，证明了防御蒸馏并不能显著提升神经网络的强度，提供了高置信度的对抗性样本用于简单的可迁移性测试，该测试可以用于破解防御蒸馏。

Aug, 2016

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

本研究探讨机器学习在面对对抗性示例时的弱点以及通过重新审视防御蒸馏来应对其挑战，旨在提高模型训练技术的重要性。

May, 2017

防御性蒸馏并不安全，在面对有针对性的错误分类攻击时，其并没有比未经保护的神经网络更具抵抗力。

Jul, 2016

本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

Feb, 2019

通过在训练数据中结合稀疏输出与对抗样本，以增强教师模型对学生模型的防御，我们的研究引入了一种保护其输出的教师模型的方法，从而减少了对整体性能的影响。

Mar, 2024

通过使用异构教师，我们以 DARHT 的方式开发了一种对抗攻击的防御框架，可以通过蒸馏具有低对抗性示例转移能力的异构教师来实现对抗鲁棒性，在白盒和黑盒方案下，DARHT 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上与竞争的对抗训练和蒸馏方法相比，实现了最先进的清洁和鲁棒性准确性。通过对异构教师集进行比较，我们发现利用具有低对抗性示例转移能力的教师可以提高学生模型的鲁棒性。

Feb, 2024

本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

Jun, 2023

本文提出了一种结合了防御蒸馏机制和去噪自动编码器（DAE）的新方法，旨在通过识别和重构有毒的对抗性输入来降低蒸馏模型对毒性攻击的敏感性从而防御深度神经网络 (DNNs) 的对抗性攻击。实验结果表明，该方法成功地识别和重构了有毒的输入，同时也增强了 DNN 的韧性，为各种数据暴露风险问题所困扰的应用提供了强大和稳健的防御机制。

Mar, 2023