本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。
Oct, 2020
研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
Jul, 2020
本研究发现，在单步对抗训练中，数据结构与训练动态之间的相互作用对于灾难性过拟合现象具有重要作用，这为理解构建强健模型的一般动态提供了新的洞见。
Jun, 2022
本文首次将 FGSM 示例解耦为数据信息和自身信息，发现了一种称为 “自适应拟合” 的有趣现象，探讨了减轻灾难性过拟合的旧方法以及将其扩展到多步对抗训练的新视角。其中，我们发现敌对训练中存在一种自学习机制，并为抑制不同类型信息的灾难性过拟合开辟了新的视角。
Feb, 2023
单步对抗训练中的灾难性过拟合问题被有效地解决，通过引入一种名为 ELLE 的正则化项，该方法在经典的对抗训练评估以及在困难情境下如大对抗扰动和长时间训练计划中表现出高效和优异性能，并且能够通过在训练过程中对正则化参数进行适应性调整来进一步提升性能。
Jan, 2024
通过操纵特征激活差异来解决快速敌对训练中的灾难性过拟合问题，并通过攻击混淆来提高模型性能和鲁棒性。
Feb, 2024
该研究从理论上和实验证明，过参数化可以在一定程度上改善神经网络模型在连续学习中遗忘前任务的性能表现。
通过观察和分析异常对抗样本（AAEs）与分类器失真之间的密切关系，本文设计了一种名为异常对抗样本规范化（AAER）的新方法，以明确规范 AAEs 的变化，从而阻止分类器失真并有效消除灾难性过拟合（CO）。大量实验证明，我们的方法可以有效消除 CO，并在几乎不增加计算负担的情况下提高对抗鲁棒性。
Apr, 2024
本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic overfitting 问题。
Apr, 2023
本文研究发现生成对抗网络 (GAN) 训练是一个连续学习问题，在所谓的任务序列中改变模型分布的不匹配程度决定了遗忘的程度，而遗忘与模式崩溃相互关联，使得 GAN 训练不收敛。作者进一步研究了 GAN 的不同变体中鉴别器输出的地形，并且探索了在 GAN 中防止遗忘的方法。
Jul, 2018