通过异常对抗样本正则化消除灾难性过拟合

Apr, 2024

通过异常对抗样本正则化消除灾难性过拟合

Eliminating Catastrophic Overfitting Via Abnormal Adversarial Examples Regularization

Runqi Lin, Chaojian Yu, Tongliang Liu

TL;DR通过观察和分析异常对抗样本（AAEs）与分类器失真之间的密切关系，本文设计了一种名为异常对抗样本规范化（AAER）的新方法，以明确规范 AAEs 的变化，从而阻止分类器失真并有效消除灾难性过拟合（CO）。大量实验证明，我们的方法可以有效消除 CO，并在几乎不增加计算负担的情况下提高对抗鲁棒性。

Abstract

single-step adversarial training (SSAT) has demonstrated the potential to achieve both efficiency and robustness. However, SSAT suffers from catastrophic overfitting (CO), a phenomenon that leads to a severely distorted classifier, making it vulnerable to multi-step adversarial attacks

single-step adversarial training catastrophic overfitting abnormal adversarial examples classifier distortion adversarial robustness

发现论文，激发创造

灾难性过拟合：一种潜在的福祉

通过操纵特征激活差异来解决快速敌对训练中的灾难性过拟合问题，并通过攻击混淆来提高模型性能和鲁棒性。

Feb, 2024

灾难性过拟合是一种 bug, 但也是一种特性

本研究发现，在单步对抗训练中，数据结构与训练动态之间的相互作用对于灾难性过拟合现象具有重要作用，这为理解构建强健模型的一般动态提供了新的洞见。

Jun, 2022

单步对抗训练中的灾难性过拟合理解

本文研究了如何防止在单步对抗训练中出现的 “灾难性过拟合” 的问题，并提出了一种简单的方法，不仅可以预防此问题，而且能够在单步对抗训练中防止多步对抗攻击。

Oct, 2020

SAT: 基于课程的损失平滑改进对抗训练

本文提出了一种平滑对抗训练方法 (SAT)，它利用课程学习的思想对对抗训练过程进行平滑处理，提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡，具体方法基于海森矩阵的特征值以及 softmax 概率，实验结果显示该方法在 CIFAR-100 和 Imagenette 数据集上比 AT 方法显著提升了干净度与鲁棒度。

Mar, 2020

高效局部线性正则化克服灾难性过拟合

单步对抗训练中的灾难性过拟合问题被有效地解决，通过引入一种名为 ELLE 的正则化项，该方法在经典的对抗训练评估以及在困难情境下如大对抗扰动和长时间训练计划中表现出高效和优异性能，并且能够通过在训练过程中对正则化参数进行适应性调整来进一步提升性能。

Jan, 2024

快速对抗训练中的灾难性过拟合调查：自适应拟合视角

本文首次将 FGSM 示例解耦为数据信息和自身信息，发现了一种称为 “自适应拟合” 的有趣现象，探讨了减轻灾难性过拟合的旧方法以及将其扩展到多步对抗训练的新视角。其中，我们发现敌对训练中存在一种自学习机制，并为抑制不同类型信息的灾难性过拟合开辟了新的视角。

Feb, 2023

利用深层模型的分层内在维度进行实用对抗训练

通过改进的 Adversarial Training 算法 SMAAT，本研究提供了 vision 和 language 模型在 generalization 和 robustness 趋势差异的首个解释，同时展示了 SMAAT 在多个任务中显著提高了鲁棒性，且相比于标准的 AT 仅需约 25-33% 的 GPU 时间。

May, 2024

局部线性性与双峰超拟合现象

本研究通过实验证明保持高的局部线性度可能足以防止灾难性过拟合，但这并非必要条件。此外，引入一种规范化术语，使网络权重矩阵正交，并研究了网络权重正交和局部线性之间的联系，并在对抗训练过程中识别了双重下降现象。

Nov, 2021

认证鲁棒神经网络：泛化和抗污染性

通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

Mar, 2023

对成功的对抗样本的鲁棒性界限：理论与实践

该研究选择了对抗样本（AE）作为机器学习的一种攻击方法，通过对数据添加不可感知的扰动来诱导错分。研究通过使用高斯过程（GP）分类，探究了成功 AE 的概率上限，并证明了该上限取决于 AE 的扰动范数、GP 中使用的核函数以及训练数据集中不同标签最近对之间的距离。令人惊讶的是，该上限并不依赖于样本数据集的分布情况。通过在 ImageNet 上进行的实验证明了我们的理论结果，并展示了改变核函数参数会导致成功 AE 概率上限的变化。

Mar, 2024