提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

Jun, 2023

该项目研究深度神经网络中的对抗攻击并探讨防御性蒸馏的方法，提出通过引入辅助网络来改善蒸馏模型的鲁棒性，并通过实验证明该方法的有效性及其对模型准确性的影响。

May, 2023

本研究介绍了新型攻击算法，证明了防御蒸馏并不能显著提升神经网络的强度，提供了高置信度的对抗性样本用于简单的可迁移性测试，该测试可以用于破解防御蒸馏。

Aug, 2016

通过使用异构教师，我们以 DARHT 的方式开发了一种对抗攻击的防御框架，可以通过蒸馏具有低对抗性示例转移能力的异构教师来实现对抗鲁棒性，在白盒和黑盒方案下，DARHT 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上与竞争的对抗训练和蒸馏方法相比，实现了最先进的清洁和鲁棒性准确性。通过对异构教师集进行比较，我们发现利用具有低对抗性示例转移能力的教师可以提高学生模型的鲁棒性。

Feb, 2024

使用间接梯度蒸馏模块（IGDM）通过匹配学生的输入梯度和教师的输入梯度来改善对抗性模型的性能，实验证明 IGDM 与现有的蒸馏方法无缝集成，显著提高了所有蒸馏方法的性能。

Dec, 2023

本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

Oct, 2018

本文介绍 PeerNets，这是一种新颖的卷积神经网络架构，采用了图卷积以从数据的全局结构中获取有用的信息，并可以更有效地抵御各种白盒和黑盒对抗攻击。

May, 2018

本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

Feb, 2019