对抗鲁棒蒸馏的间接梯度匹配

Dec, 2023

Indirect Gradient Matching for Adversarial Robust Distillation

Hongsin Lee, Seungju Cho, Changick Kim

TL;DR使用间接梯度蒸馏模块（IGDM）通过匹配学生的输入梯度和教师的输入梯度来改善对抗性模型的性能，实验证明 IGDM 与现有的蒸馏方法无缝集成，显著提高了所有蒸馏方法的性能。

Abstract

adversarial training significantly improves adversarial robustness, but superior performance is primarily attained with large models. This substantial performance gap for smaller models has spurred active research into adversarial distillation (AD) to mitigate the difference. Existing

adversarial training adversarial distillation indirect gradient distillation module (igdm)input gradient taylor approximation

发现论文，激发创造

使用不可靠的教师进行可信对抗蒸馏

提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021

迭代式图形自蒸馏

提出一种基于对比学习的迭代图形自蒸馏方法（IGSD），可以在无监督情况下自动学习图形级别的表示，并且将其扩展到半监督情况和自训练中，实验表明，在各种图形数据集中，IGSD 在无监督和半监督设置下均获得了显著的性能提升，证明其优越性。

Oct, 2020

通过输入梯度精华释放 $L_{\infty}$ 对抗训练中的不平等现象

本文介绍了一种名为输入梯度蒸馏的方法，旨在消除 l∞- 对抗训练中的不平等现象，从而提高对噪声和遮挡物的鲁棒性。实验证明，在保持了模型的对抗鲁棒性的同时，输入梯度蒸馏还提高了模型对噪声和遮挡物的鲁棒性，并正式解释了模型显要性图的平等如何提高模型对噪声或遮挡物的鲁棒性。

May, 2023

输入梯度传输的鲁棒性：重要的因素是其认为的重要性

通过学习输入梯度，从源任务到目标任务甚至跨不同模型结构的迁移学习中，针对输入梯度的语义直接攻击是实现对抗鲁棒性的可行方法。

Dec, 2019

对抗鲁棒蒸馏

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

匹配引导蒸馏

本文提出了匹配引导蒸馏（Matching Guided Distillation，MGD）方法，该方法是一种高效的，不需要参数的方法，旨在解决适配模块带来的问题和随机初始化或特殊转换对预训练学生进行提炼的不利影响。MGD 的关键思想是将教师信道与学生信道的匹配作为分配问题，通过三种解决方案将教师信道的数量减少到学生信道，并使用部分蒸馏损失来更新分配。整个训练采用两个优化目标之间的协调下降方法。

Aug, 2020

PeerAiD: 从专门的同行导师中改进对抗性蒸馏

通过对等网络训练和敌对训练来提高小型网络的鲁棒性并保护其免受攻击，以实现更高的准确性和鲁棒性。

Mar, 2024

AD-KD: 基于属性的知识蒸馏用于语言模型压缩

本文提出了一种基于 Integrated Gradients 的新颖的归因驱动知识蒸馏方法，它探索了教师模型背后的 token-level 解释，并将知识转移给学生模型，进一步探索了多视角归因蒸馏。实验证明我们的方法在 GLUE 基准测试中具有比其他现有方法更好的性能。

May, 2023

数据无关模型压缩的双判别器对抗蒸馏

提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

Apr, 2021

通过多教师对抗蒸馏缓解精度 - 鲁棒性平衡

本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

Jun, 2023