本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic overfitting 问题。
Apr, 2023
通过操纵特征激活差异来解决快速敌对训练中的灾难性过拟合问题，并通过攻击混淆来提高模型性能和鲁棒性。
Feb, 2024
该研究论文通过使用快速对抗训练技术（Fast Adversarial Training，简称 FAT）来提高模型的鲁棒性并减少标准对抗训练的训练成本，然而快速对抗训练经常受到灾难性过拟合（Catastrophic Overfitting，简称 CO）的影响，导致鲁棒性表现较差。本文对超过 10 种快速对抗训练方法进行了全面研究，从模型的局部非线性角度重新评估了快速对抗训练技术在预防灾难性过拟合方面的有效性和效率，并提出了一种有效的 Lipschitz 正则化方法和简单而有效的自动权重平均化方法来进一步提高鲁棒性。通过将这些技术相结合，作者提出了一种基于 FGSM（快速梯度符号方法）的快速对抗训练方法，同时使用 Lipschitz 正则化和自动权重平均化，简称 FGSM-LAW。在四个基准数据库上进行的实验评估表明，该方法在超过其他优秀的快速对抗训练方法和先进的标准对抗训练方法中表现出优越性。
Aug, 2023
本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。
Dec, 2021
通过在嵌入空间进行单步扰动生成和扰动初始化的研究，我们提出了一种快速对抗训练（FAT）方法，以改善模型在无同义词感知情况下的鲁棒性，实验证明 FAT 显著提高了 BERT 模型在各种攻击下的鲁棒性。
Jan, 2024
本文针对快速对抗训练 (FAT) 出现的过拟合现象进行了研究，提出了一种基于先验引导的快速梯度符号方法 (FGSM) 初始化策略和正则化方法，有效预防了过拟合，提高了对抗训练的效率。实验结果表明该方法优于现有的同类方法。
Jul, 2022
研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
Jul, 2020
本研究提出了友好对抗训练 (FAT) 的新方法，其中通过提前停止最严格的对抗数据搜索算法，即早停止的 PGD，来最小化损失并利用自信的对抗数据更新当前模型，理论上可以通过对抗风险的上限来证明，实验证明不需要以自然泛化为代价也可以实现对抗强度。
Feb, 2020
本文提出了一种用于评估内部最大值的解决方法 ——FOSC，以量化评估在内部最大化期间找到的对抗性例子的收敛质量，结果表明，在训练后期使用收敛质量更好的对抗性例子是确保更好的稳健性所必需的，而在训练初期，高收敛质量的对抗性例子则并不是必需的，甚至可能导致差的鲁棒性，因此，我们提出了一种渐进式的动态训练策略，逐步提高生成的对抗性例子的收敛质量，从而显著提高了对抗训练的鲁棒性。
本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。
Oct, 2020