catastrophic overfitting | BriefGPT

关键词catastrophic overfitting

搜索结果 - 14

通过异常对抗样本正则化消除灾难性过拟合
通过观察和分析异常对抗样本（AAEs）与分类器失真之间的密切关系，本文设计了一种名为异常对抗样本规范化（AAER）的新方法，以明确规范 AAEs 的变化，从而阻止分类器失真并有效消除灾难性过拟合（CO）。大量实验证明，我们的方法可以有效消除
PDF3 months ago
灾难性过拟合：一种潜在的福祉
通过操纵特征激活差异来解决快速敌对训练中的灾难性过拟合问题，并通过攻击混淆来提高模型性能和鲁棒性。
PDF4 months ago
ICLR高效局部线性正则化克服灾难性过拟合
单步对抗训练中的灾难性过拟合问题被有效地解决，通过引入一种名为 ELLE 的正则化项，该方法在经典的对抗训练评估以及在困难情境下如大对抗扰动和长时间训练计划中表现出高效和优异性能，并且能够通过在训练过程中对正则化参数进行适应性调整来进一步提
PDF6 months ago
黑铁匠：通过混合单步和多步方法实现视觉 Transformer 的快速对抗训练
我们提出了一种名为 Blacksmith 的新训练策略，用于解决深度学习算法中的 Catastrophic Overfitting 问题，尤其适用于 Vision Transformers。通过在神经网络的对抗训练中随机使用 PGD-2 或
PDF8 months ago
快速对抗训练与平滑收敛
通过引入振荡约束和权重集中化，该研究提出了一种改进快速对抗训练（Fast Adversarial Training）的方法，解决了其在处理大扰动限度时出现的灾难性过拟合问题，并通过攻击无关性的广泛实验验证了该方法的稳定性和优越性。
PDF10 months ago
通过 Lipschitz 正则化和自动权重平均探索高效快速的对抗训练的重访
该研究论文通过使用快速对抗训练技术（Fast Adversarial Training，简称 FAT）来提高模型的鲁棒性并减少标准对抗训练的训练成本，然而快速对抗训练经常受到灾难性过拟合（Catastrophic Overfitting，简
PDF10 months ago
（核）岭回归过拟合成本的无神论观点
本文通过分析基于高斯全局性假设的非严谨风险估计来探究噪声核岭回归中过拟合的代价，并对其进行了更精细的分类：良性、温和和灾难性过拟合。
PDFa year ago
利用先验引导知识改进快速对抗训练
本文提出了一种名为 FGSM-PGK 的方法，它使用先前的训练过程中高质量的对抗扰动来生成正样本引导的对抗初始化以及使用不同的衰减率平均不同模型权重的先验引导的集成快速对抗训练方法以提高对抗性能，从而解决了 catastrophic ove
PDFa year ago
CVPR快速对抗训练中的灾难性过拟合调查：自适应拟合视角
本文首次将 FGSM 示例解耦为数据信息和自身信息，发现了一种称为 “自适应拟合” 的有趣现象，探讨了减轻灾难性过拟合的旧方法以及将其扩展到多步对抗训练的新视角。其中，我们发现敌对训练中存在一种自学习机制，并为抑制不同类型信息的灾难性过拟合
PDFa year ago
ICML灾难性过拟合是一种 bug, 但也是一种特性
本研究发现，在单步对抗训练中，数据结构与训练动态之间的相互作用对于灾难性过拟合现象具有重要作用，这为理解构建强健模型的一般动态提供了新的洞见。
PDF2 years ago
制造噪声：可靠高效的单步对抗训练
本文重访了单步对抗训练中噪声与剪辑的角色，发现使用强噪声结合不剪辑非常有效地避免了大扰动半径下的灾难性过拟合，提出了 Noise-FGSM (N-FGSM)，实验结果表明 N-FGSM 能达到甚至超过之前的 GradAlign，同时提高了
PDF2 years ago
KDD局部线性性与双峰超拟合现象
本研究通过实验证明保持高的局部线性度可能足以防止灾难性过拟合，但这并非必要条件。此外，引入一种规范化术语，使网络权重矩阵正交，并研究了网络权重正交和局部线性之间的联系，并在对抗训练过程中识别了双重下降现象。
PDF3 years ago
快速对抗训练的理解与改进
研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。
PDF4 years ago
快速优于免费：再探对抗训练
通过使用快速梯度符号方法（FGSM）来作为对抗样本的构造方法，使得对抗训练的代价不比标准训练更高，而且 FGSM 对抗训练与 PGD 对抗训练效果相当。最后，我们还研究了 FGSM 对抗训练的 “灾难性过拟合” 失败模式。
PDF4 years ago