本研究发现，在单步对抗训练中，数据结构与训练动态之间的相互作用对于灾难性过拟合现象具有重要作用，这为理解构建强健模型的一般动态提供了新的洞见。

Jun, 2022

本文首次将 FGSM 示例解耦为数据信息和自身信息，发现了一种称为 “自适应拟合” 的有趣现象，探讨了减轻灾难性过拟合的旧方法以及将其扩展到多步对抗训练的新视角。其中，我们发现敌对训练中存在一种自学习机制，并为抑制不同类型信息的灾难性过拟合开辟了新的视角。

Feb, 2023

通过观察和分析异常对抗样本（AAEs）与分类器失真之间的密切关系，本文设计了一种名为异常对抗样本规范化（AAER）的新方法，以明确规范 AAEs 的变化，从而阻止分类器失真并有效消除灾难性过拟合（CO）。大量实验证明，我们的方法可以有效消除 CO，并在几乎不增加计算负担的情况下提高对抗鲁棒性。

Apr, 2024

本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic overfitting 问题。

Apr, 2023

通过引入振荡约束和权重集中化，该研究提出了一种改进快速对抗训练（Fast Adversarial Training）的方法，解决了其在处理大扰动限度时出现的灾难性过拟合问题，并通过攻击无关性的广泛实验验证了该方法的稳定性和优越性。

Aug, 2023

深度学习的鲁棒训练中存在的过拟合问题可通过攻击强度和数据增强等措施来减轻，这些措施能阻止神经网络学习无效特征，从而提高鲁棒性。

Oct, 2023

本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。

Oct, 2020

该研究论文通过使用快速对抗训练技术（Fast Adversarial Training，简称 FAT）来提高模型的鲁棒性并减少标准对抗训练的训练成本，然而快速对抗训练经常受到灾难性过拟合（Catastrophic Overfitting，简称 CO）的影响，导致鲁棒性表现较差。本文对超过 10 种快速对抗训练方法进行了全面研究，从模型的局部非线性角度重新评估了快速对抗训练技术在预防灾难性过拟合方面的有效性和效率，并提出了一种有效的 Lipschitz 正则化方法和简单而有效的自动权重平均化方法来进一步提高鲁棒性。通过将这些技术相结合，作者提出了一种基于 FGSM（快速梯度符号方法）的快速对抗训练方法，同时使用 Lipschitz 正则化和自动权重平均化，简称 FGSM-LAW。在四个基准数据库上进行的实验评估表明，该方法在超过其他优秀的快速对抗训练方法和先进的标准对抗训练方法中表现出优越性。

Aug, 2023

本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

Dec, 2021

本研究通过实验证明保持高的局部线性度可能足以防止灾难性过拟合，但这并非必要条件。此外，引入一种规范化术语，使网络权重矩阵正交，并研究了网络权重正交和局部线性之间的联系，并在对抗训练过程中识别了双重下降现象。

Nov, 2021