Jul, 2020

快速对抗训练的理解与改进

PDF
TL;DR研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
发现论文，激发创造
  • 单步对抗训练中的灾难性过拟合理解

    本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。

    Oct, 2020

  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • 制造噪声：可靠高效的单步对抗训练

    本文重访了单步对抗训练中噪声与剪辑的角色，发现使用强噪声结合不剪辑非常有效地避免了大扰动半径下的灾难性过拟合，提出了 Noise-FGSM (N-FGSM)，实验结果表明 N-FGSM 能达到甚至超过之前的 GradAlign，同时提高了 3 倍的速度。

    Feb, 2022

  • 局部线性性与双峰超拟合现象

    本研究通过实验证明保持高的局部线性度可能足以防止灾难性过拟合，但这并非必要条件。此外，引入一种规范化术语，使网络权重矩阵正交，并研究了网络权重正交和局部线性之间的联系，并在对抗训练过程中识别了双重下降现象。

    Nov, 2021

  • FGSM 和 PGD 对抗训练之间性能差距的缩小

    该研究利用弯曲正则化方法，将快速梯度符号方法（FGSM）扩展为可实现 adversarial robustness，并比 adversarial projected gradient decent 攻击方法（PGD）具有更高的训练效率。在 MNIST 数据集白盒攻击下，表现与 adv.PGD 相当，在 CIFAR-10 数据集转移攻击上表现更好。

    Nov, 2020

  • 快速对抗训练中的灾难性过拟合调查：自适应拟合视角

    本文首次将 FGSM 示例解耦为数据信息和自身信息，发现了一种称为 “自适应拟合” 的有趣现象，探讨了减轻灾难性过拟合的旧方法以及将其扩展到多步对抗训练的新视角。其中，我们发现敌对训练中存在一种自学习机制，并为抑制不同类型信息的灾难性过拟合开辟了新的视角。

    Feb, 2023

  • Learnable Adversarial Initialization 强化快速对抗训练

    本研究针对 Adversarial training 应用 Fast Gradient Sign Method (FGSM) 进行改进，提出了一种基于 generative network 和 target network 联合优化的 sample-dependent adversarial initialization 方案来提升模型的鲁棒性，并在四个基准数据库上进行了实验验证，结果表明该方法比现有的 Fast AT 方法更加优越。

    Oct, 2021

  • 利用先验引导知识改进快速对抗训练

    本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic overfitting 问题。

    Apr, 2023

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • 稳健过拟合问题的重要性：FGSM 测试时的敌对净化

    我们提出了一种基于深度神经网络的测试时间像素级对抗净化（TPAP）方法，通过对训练和测试数据集上的快速梯度符号方法（FGSM）进行对抗净化，以提高 DNN 对各种未知对抗攻击的防御能力，实验证实我们的方法可以显著改善 DNN 的整体鲁棒泛化性能。

    Mar, 2024