robust overfitting | BriefGPT

关键词robust overfitting

搜索结果 - 16

MEAT: 提高强健性和泛化能力的中值集成对抗训练
自主集成对抗训练方法在不同训练时期通过集成模型，如模型权重平均化（WA），提高模型的健壮性。然而，先前的研究表明，对抗训练中的自主集成防御方法仍然存在健壮过拟合问题，严重影响泛化性能。为解决这个问题，本文目的在于解决权重空间异常值的影响，提
PDF14 days ago
深度状态空间模型的对抗鲁棒性探索
深度状态空间模型（SSMs）面临着真实世界部署中的对抗性扰动（APs）所带来的严重安全挑战。本研究评估了 SSMs 的不同结构变种在对抗训练（AT）中的对抗鲁棒性（AR）表现，并发现引入注意力机制对于 SSMs 在 AT 中具有更好的稳健性
PDFa month ago
ICML对抗训练及更多领域中的均匀稳定算法
在对抗性机器学习中，神经网络面临着一个重要问题，即强鲁棒性测试精度随时间降低。我们提出了 Moreau 包络 -$\mathcal {A}$，一个新方法来解决这个问题，通过引入 Moreau 包络函数，将原始问题重新构建为极小 - 极小问题
PDF2 months ago
CVPR缓和以防御：通过自引导标签完善实现对抗鲁棒性
鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在
PDF4 months ago
对抗训练中过拟合的深度神经网络能否泛化？— 一种近似观点
对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆
PDF5 months ago
关于强健的过拟合：对抗训练引起的分布问题
该研究论文探讨了对抗训练中的鲁棒性过拟合现象及其与扰动诱导分布的泛化困难性之间的相关性，提供了一个新的上界，其中称为 “局部离散性” 的扰动算子发挥了重要作用。
PDF7 months ago
平衡、不平衡与再平衡：从极小极大博弈角度理解鲁棒过拟合
对抗训练中学习率衰减引起的非鲁棒特征记忆和非鲁棒过拟合问题进行了研究，并提出了重新平衡对抗训练方法以缓解这一问题。
PDF8 months ago
广泛深度神经网络的鲁棒过拟合的理论分析：一种 NTK 方法
深度神经网络的对抗训练存在鲁棒过拟合问题，本文通过理论分析提出了神经切线核理论在对抗训练中的扩展，并证明了经过对抗训练的宽深度神经网络可以很好近似为一个线性化的神经网络；进一步，设计了用于无限宽度深度神经网络的对抗训练算法 Adv-NTK，
PDF9 months ago
生成更不确定的对抗样本提高鲁棒泛化能力
最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的
PDF9 months ago
对抗训练中强健过拟合的开始
深度学习的鲁棒训练中存在的过拟合问题可通过攻击强度和数据增强等措施来减轻，这些措施能阻止神经网络学习无效特征，从而提高鲁棒性。
PDF9 months ago
MM对抗性训练中为什么会出现干净泛化和鲁棒过拟合
本文针对对抗训练中的干净泛化和鲁棒过度拟合现象，提出了一种理论框架，分析了特征学习过程，证明了部分学习真实特征和完全记忆训练对抗样本中噪声特征的机制，并从损失景观动态的角度验证了我们的理论分析，提出了基于损失景观全局平坦性的鲁棒泛化界限。
PDFa year ago
ICLR仅进行数据增强即可改善对抗训练
本文证明了，与先前的研究相反，仅凭借数据增强，可以显着提高对抗训练的准确性和鲁棒性，数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案，并通过实验验证，达到了对抗训练中数据增强的最佳效果。
PDFa year ago
ICML对敌对训练的强大过拟合及其原因的理解
通过比较差异数据集，本研究阐述了敌对训练中稳健过度拟合的成因，并提出了一种名为最小化损失约束敌对训练 (MLCAT) 的算法，利用一些本不应考虑的数据，避免过度拟合问题，并且增强对抗鲁棒性。
PDF2 years ago
数据增强能提高稳健性
本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能
PDF3 years ago
NoiLIn: 改进对抗训练与校正嘈杂标签的刻板印象
通过在对抗训练的过程中注入随机噪声标签，我们提出了一种新的训练方法 NoiLIn，可以有效地解决模型鲁棒性和准确性之间的折中问题，并进一步提高了当今最先进的对抗训练方法的泛化能力。
PDF3 years ago
AAAI对抗鲁棒性的一种一致性正则化方法
本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并
PDF3 years ago