重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

Aug, 2021

重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better

Bojia Zi, Shihao Zhao, Xingjun Ma, Yu-Gang Jiang

TL;DR本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用 Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由 Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对 AutoAttack 等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的 Robust Soft 标签的重要性提供了一组理解。

Abstract

adversarial training is one effective approach for training robust deep neural networks against adversarial attacks. While being able to bring reliable robustness, →

adversarial training robustness knowledge distillation small models robust soft labels

发现论文，激发创造

通过反偏见软标签蒸馏来改善对抗鲁棒公平性

通过对软标签的平滑程度进行深入分析和理论分析，我们提出了一种反偏差软标签蒸馏（ABSLD）方法，以在知识蒸馏（KD）框架中减轻对手性鲁棒性公平问题，通过调整训练过程中样本的软标签的类别平滑程度来减少学生模型在不同类别之间的错误风险差距，软标签的平滑程度由在 KD 中为不同类别分配不同的温度来控制。大量实验表明，ABSLD 在鲁棒性和公平性的整体性能方面优于最先进的对手训练、对手鲁棒性蒸馏和公平性方法。

Dec, 2023

对抗鲁棒蒸馏

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

使用不可靠的教师进行可信对抗蒸馏

提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021

缓和以防御：通过自引导标签完善实现对抗鲁棒性

鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

Mar, 2024

模拟退火自蒸馏纠正改进了对抗训练

提出一种通过生成软标签辅助来增强对抗训练模型的方法 Annealing Self-Distillation Rectification (ADR)，该方法显著改善了模型的鲁棒性并且易于与其他对抗训练技术进行无缝集成。

May, 2023

通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

Aug, 2023

通过多教师对抗蒸馏缓解精度 - 鲁棒性平衡

本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

Jun, 2023

鲁棒主动蒸馏

通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

Oct, 2022

LTD: 低温蒸馏针对强健对抗性训练

本文提出一种名为低温蒸馏（LTD）的方法，旨在生成所需的软标签以提高神经网络模型对抗性攻击的鲁棒性，实验结果表明，该方法与先前的工作结合能够在不使用额外的未标记数据的情况下，在 CIFAR-10 和 CIFAR-100 数据集上分别获得 57.72％和 30.36％的鲁棒准确性，平均改进了 1.21％的现有最新方法。

Nov, 2021

利用异构教师提取对抗鲁棒性

通过使用异构教师，我们以 DARHT 的方式开发了一种对抗攻击的防御框架，可以通过蒸馏具有低对抗性示例转移能力的异构教师来实现对抗鲁棒性，在白盒和黑盒方案下，DARHT 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上与竞争的对抗训练和蒸馏方法相比，实现了最先进的清洁和鲁棒性准确性。通过对异构教师集进行比较，我们发现利用具有低对抗性示例转移能力的教师可以提高学生模型的鲁棒性。

Feb, 2024