May, 2023

模拟退火自蒸馏纠正改进了对抗训练

PDF
TL;DR提出一种通过生成软标签辅助来增强对抗训练模型的方法 Annealing Self-Distillation Rectification (ADR)，该方法显著改善了模型的鲁棒性并且易于与其他对抗训练技术进行无缝集成。
adversarial trainingadversarial perturbationrobustnesssoft labelsannealing self-distillation rectification
发现论文，激发创造
  • 通过反偏见软标签蒸馏来改善对抗鲁棒公平性

    通过对软标签的平滑程度进行深入分析和理论分析，我们提出了一种反偏差软标签蒸馏（ABSLD）方法，以在知识蒸馏（KD）框架中减轻对手性鲁棒性公平问题，通过调整训练过程中样本的软标签的类别平滑程度来减少学生模型在不同类别之间的错误风险差距，软标签的平滑程度由在 KD 中为不同类别分配不同的温度来控制。大量实验表明，ABSLD 在鲁棒性和公平性的整体性能方面优于最先进的对手训练、对手鲁棒性蒸馏和公平性方法。

    Dec, 2023

  • 重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

    本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用 Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由 Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对 AutoAttack 等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的 Robust Soft 标签的重要性提供了一组理解。

    Aug, 2021

  • 对抗鲁棒蒸馏

    本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

    May, 2019

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 通过多教师对抗蒸馏缓解精度 - 鲁棒性平衡

    本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

    Jun, 2023

  • 使用不可靠的教师进行可信对抗蒸馏

    提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

    Jun, 2021

  • 通过曲率正则化实现对抗鲁棒的数据集精炼

    研究提出了一种新方法，通过在蒸馏过程中加入曲率正则化，使得在生成的数据集上训练的模型在保持高准确性的同时获得更好的敌对鲁棒性，而且计算开销更小。实验证明该方法在准确性和鲁棒性方面都优于标准的敌对训练，并能生成经受住各种敌对攻击的鲁棒蒸馏数据集。

    Mar, 2024

  • 通过与对抗鲁棒性的关系来提高校准

    该论文研究神经网络的对抗强度和校准之间的联系，并提出了 Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) 方法，以提高模型校准和鲁棒性。该方法可应用于单个模型和集成模型，可在数据偏移情况下实现更好的校准结果。

    Jun, 2020

  • 利用异构教师提取对抗鲁棒性

    通过使用异构教师，我们以 DARHT 的方式开发了一种对抗攻击的防御框架，可以通过蒸馏具有低对抗性示例转移能力的异构教师来实现对抗鲁棒性，在白盒和黑盒方案下，DARHT 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上与竞争的对抗训练和蒸馏方法相比，实现了最先进的清洁和鲁棒性准确性。通过对异构教师集进行比较，我们发现利用具有低对抗性示例转移能力的教师可以提高学生模型的鲁棒性。

    Feb, 2024

  • LTD: 低温蒸馏针对强健对抗性训练

    本文提出一种名为低温蒸馏（LTD）的方法，旨在生成所需的软标签以提高神经网络模型对抗性攻击的鲁棒性，实验结果表明，该方法与先前的工作结合能够在不使用额外的未标记数据的情况下，在 CIFAR-10 和 CIFAR-100 数据集上分别获得 57.72％和 30.36％的鲁棒准确性，平均改进了 1.21％的现有最新方法。

    Nov, 2021