ICLRJan, 2024

高效局部线性正则化克服灾难性过拟合

PDF
TL;DR单步对抗训练中的灾难性过拟合问题被有效地解决，通过引入一种名为 ELLE 的正则化项，该方法在经典的对抗训练评估以及在困难情境下如大对抗扰动和长时间训练计划中表现出高效和优异性能，并且能够通过在训练过程中对正则化参数进行适应性调整来进一步提升性能。
catastrophic overfittingadversarial traininglocal linearityregularizationelle
发现论文，激发创造
  • 局部线性性与双峰超拟合现象

    本研究通过实验证明保持高的局部线性度可能足以防止灾难性过拟合，但这并非必要条件。此外，引入一种规范化术语，使网络权重矩阵正交，并研究了网络权重正交和局部线性之间的联系，并在对抗训练过程中识别了双重下降现象。

    Nov, 2021

  • 灾难性过拟合是一种 bug, 但也是一种特性

    本研究发现，在单步对抗训练中，数据结构与训练动态之间的相互作用对于灾难性过拟合现象具有重要作用，这为理解构建强健模型的一般动态提供了新的洞见。

    Jun, 2022

  • 通过异常对抗样本正则化消除灾难性过拟合

    通过观察和分析异常对抗样本（AAEs）与分类器失真之间的密切关系，本文设计了一种名为异常对抗样本规范化（AAER）的新方法，以明确规范 AAEs 的变化，从而阻止分类器失真并有效消除灾难性过拟合（CO）。大量实验证明，我们的方法可以有效消除 CO，并在几乎不增加计算负担的情况下提高对抗鲁棒性。

    Apr, 2024

  • 对抗鲁棒性的一种一致性正则化方法

    本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并对模型作出更具实际意义的泛化。

    Mar, 2021

  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 灾难性过拟合：一种潜在的福祉

    通过操纵特征激活差异来解决快速敌对训练中的灾难性过拟合问题，并通过攻击混淆来提高模型性能和鲁棒性。

    Feb, 2024

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • 子空间对抗训练

    本篇论文从优化的角度出发，揭示了每个样本快速生长的梯度和过拟合之间的紧密联系，提出了一种新的对抗训练方法，“子空间对抗训练 (Sub-AT)”，并成功解决了过拟合的问题，显著提高了鲁棒性，实现了最先进的单步对抗训练 (单步 AT) 性能。

    Nov, 2021

  • 使用 Lipschitz 正则化损失提高对抗样本的鲁棒性

    本文提出了一种在 CIFAR-10 数据集上，使用最坏情况对抗训练（WCAT）提高 11% 的对抗鲁棒性。基于损失函数梯度范数的期望值和最大值，我们获得了可验证的平均情况和最坏情况的鲁棒性保证。我们将对抗训练解释为总变分正则化，这是数学图像处理中的基本工具，将 WCAT 解释为利普希茨正则化。

    Oct, 2018

  • 曲率正则化带来的鲁棒性及其相反情况

    本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

    Nov, 2018