通过反偏见软标签蒸馏来改善对抗鲁棒公平性

Dec, 2023

通过反偏见软标签蒸馏来改善对抗鲁棒公平性

Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation

Shiji Zhao, Xizhe Wang, Xingxing Wei

TL;DR通过对软标签的平滑程度进行深入分析和理论分析，我们提出了一种反偏差软标签蒸馏（ABSLD）方法，以在知识蒸馏（KD）框架中减轻对手性鲁棒性公平问题，通过调整训练过程中样本的软标签的类别平滑程度来减少学生模型在不同类别之间的错误风险差距，软标签的平滑程度由在 KD 中为不同类别分配不同的温度来控制。大量实验表明，ABSLD 在鲁棒性和公平性的整体性能方面优于最先进的对手训练、对手鲁棒性蒸馏和公平性方法。

Abstract

adversarial training (AT) has been widely proved to be an effective method to improve the adversarial robustness against adversarial examples for Deep Neural Networks (DNNs). As a variant of AT, adversarial robustness d

adversarial training adversarial robustness distillation robust fairness soft labels anti-bias soft label distillation

发现论文，激发创造

重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用 Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由 Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对 AutoAttack 等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的 Robust Soft 标签的重要性提供了一组理解。

Aug, 2021

对抗鲁棒蒸馏

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

模拟退火自蒸馏纠正改进了对抗训练

提出一种通过生成软标签辅助来增强对抗训练模型的方法 Annealing Self-Distillation Rectification (ADR)，该方法显著改善了模型的鲁棒性并且易于与其他对抗训练技术进行无缝集成。

May, 2023

通过多教师对抗蒸馏缓解精度 - 鲁棒性平衡

本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

Jun, 2023

使用不可靠的教师进行可信对抗蒸馏

提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021

缓和以防御：通过自引导标签完善实现对抗鲁棒性

鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

Mar, 2024

利用异构教师提取对抗鲁棒性

通过使用异构教师，我们以 DARHT 的方式开发了一种对抗攻击的防御框架，可以通过蒸馏具有低对抗性示例转移能力的异构教师来实现对抗鲁棒性，在白盒和黑盒方案下，DARHT 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上与竞争的对抗训练和蒸馏方法相比，实现了最先进的清洁和鲁棒性准确性。通过对异构教师集进行比较，我们发现利用具有低对抗性示例转移能力的教师可以提高学生模型的鲁棒性。

Feb, 2024

鲁棒主动蒸馏

通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

Oct, 2022

LTD: 低温蒸馏针对强健对抗性训练

本文提出一种名为低温蒸馏（LTD）的方法，旨在生成所需的软标签以提高神经网络模型对抗性攻击的鲁棒性，实验结果表明，该方法与先前的工作结合能够在不使用额外的未标记数据的情况下，在 CIFAR-10 和 CIFAR-100 数据集上分别获得 57.72％和 30.36％的鲁棒准确性，平均改进了 1.21％的现有最新方法。

Nov, 2021

通过平衡对抗训练来提高模型的稳健公平性

本文提出了平衡对抗训练（Balance Adversarial Training）方法，用于解决在对抗训练中不同类别间的鲁棒性和准确性存在严重失衡的问题。通过对两种不公平现象进行观察，即不同类别的对抗样本生成难度差异（源类别公平）和生成对抗样本时不同类别存在不公平偏向（目标类别公平），引入适当的攻击强度和均匀分布约束等措施，能够显著提升指标和缓解鲁棒公平问题。

Sep, 2022