Apr, 2023

利用先验引导知识改进快速对抗训练

PDF
TL;DR本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic overfitting 问题。
fast adversarial trainingcatastrophic overfittingadversarial example qualityprior-guided adversarial initializationfgsm-pgk
发现论文，激发创造
  • 利用先验信息引导的对抗性初始化进行快速对抗训练

    本文针对快速对抗训练 (FAT) 出现的过拟合现象进行了研究，提出了一种基于先验引导的快速梯度符号方法 (FGSM) 初始化策略和正则化方法，有效预防了过拟合，提高了对抗训练的效率。实验结果表明该方法优于现有的同类方法。

    Jul, 2022

  • 不致死的攻击使对抗学习更强大

    本研究提出了友好对抗训练 (FAT) 的新方法，其中通过提前停止最严格的对抗数据搜索算法，即早停止的 PGD，来最小化损失并利用自信的对抗数据更新当前模型，理论上可以通过对抗风险的上限来证明，实验证明不需要以自然泛化为代价也可以实现对抗强度。

    Feb, 2020

  • 快速对抗训练与平滑收敛

    通过引入振荡约束和权重集中化，该研究提出了一种改进快速对抗训练（Fast Adversarial Training）的方法，解决了其在处理大扰动限度时出现的灾难性过拟合问题，并通过攻击无关性的广泛实验验证了该方法的稳定性和优越性。

    Aug, 2023

  • 抵御文本对抗攻击的快速对抗训练

    通过在嵌入空间进行单步扰动生成和扰动初始化的研究，我们提出了一种快速对抗训练（FAT）方法，以改善模型在无同义词感知情况下的鲁棒性，实验证明 FAT 显著提高了 BERT 模型在各种攻击下的鲁棒性。

    Jan, 2024

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • 通过 Lipschitz 正则化和自动权重平均探索高效快速的对抗训练的重访

    该研究论文通过使用快速对抗训练技术（Fast Adversarial Training，简称 FAT）来提高模型的鲁棒性并减少标准对抗训练的训练成本，然而快速对抗训练经常受到灾难性过拟合（Catastrophic Overfitting，简称 CO）的影响，导致鲁棒性表现较差。本文对超过 10 种快速对抗训练方法进行了全面研究，从模型的局部非线性角度重新评估了快速对抗训练技术在预防灾难性过拟合方面的有效性和效率，并提出了一种有效的 Lipschitz 正则化方法和简单而有效的自动权重平均化方法来进一步提高鲁棒性。通过将这些技术相结合，作者提出了一种基于 FGSM（快速梯度符号方法）的快速对抗训练方法，同时使用 Lipschitz 正则化和自动权重平均化，简称 FGSM-LAW。在四个基准数据库上进行的实验评估表明，该方法在超过其他优秀的快速对抗训练方法和先进的标准对抗训练方法中表现出优越性。

    Aug, 2023

  • 灾难性过拟合：一种潜在的福祉

    通过操纵特征激活差异来解决快速敌对训练中的灾难性过拟合问题，并通过攻击混淆来提高模型性能和鲁棒性。

    Feb, 2024

  • 快速对抗训练的理解与改进

    研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。

    Jul, 2020

  • 快速优于免费：再探对抗训练

    通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。

    Jan, 2020

  • Learnable Adversarial Initialization 强化快速对抗训练

    本研究针对 Adversarial training 应用 Fast Gradient Sign Method (FGSM) 进行改进，提出了一种基于 generative network 和 target network 联合优化的 sample-dependent adversarial initialization 方案来提升模型的鲁棒性，并在四个基准数据库上进行了实验验证，结果表明该方法比现有的 Fast AT 方法更加优越。

    Oct, 2021