对抗鲁棒学习的正则化
本文提出了一种新的数据依赖性结构化梯度正则化器,旨在增加神经网络对抗扰动的鲁棒性,该正则化器可以从第一原理中导出。实验证据表明,结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。
May, 2018
通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果,并提出了一些新的有效的正则化策略,实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。
Sep, 2018
本文提出了一种在CIFAR-10数据集上,使用最坏情况对抗训练(WCAT)提高11%的对抗鲁棒性。基于损失函数梯度范数的期望值和最大值,我们获得了可验证的平均情况和最坏情况的鲁棒性保证。我们将对抗训练解释为总变分正则化,这是数学图像处理中的基本工具,将WCAT解释为利普希茨正则化。
Oct, 2018
本文旨在探讨一种对抗性对抗性鲁棒性的梯度正则化方法,其中使用局部梯度信息得出新颖的理论鲁棒性边界,并利用可扩展的输入梯度正则化来训练出具有鲁棒性的ImageNet模型,同时实验证明输入梯度正则化与对抗性训练具有相似的训练效果。
May, 2019
本文介绍了一种新型的正则化方法,该正则化方法鼓励在训练数据附近的损失行为呈线性,从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验,我们展示了使用我们的正则化方法训练的模型避免了梯度混淆,并且比对抗训练能够更快地训练。使用这种正则化方法,我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255的和 CIFAR-10 同样的表现。
Jul, 2019
本篇研究通过分类对抗性攻击和防御方法,提出三类半定界数理优化问题,即对抗(再)训练、正则化方法和认证防御,并调查了最近的研究成果和挑战以及展望未来的发展。
Jul, 2020
本文研究了神经网络建模的正则化视角,通过将模型向分类决策边界的平滑变化进行防御,使其尽可能不改变预测结果,但会导致预测结果的置信度下降,这种正则化方法要避免性能下降。
Nov, 2020
本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术,在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明,这种简单的方法可以显著提高各种 AT 方法的测试准确性,并对模型作出更具实际意义的泛化。
Mar, 2021
本文提出一种基于Wasserstein的分布鲁棒性优化方法,旨在通过同时应用本地和全局正则化,将原始分布与最具挑战性的分布相结合,提高模型的建模能力,解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明,该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。
Mar, 2022
本研究针对人工神经网络在实际应用中对抗攻击的脆弱性问题,提出了一种将$\phi$-散度正则化整合到分布鲁棒风险函数的新方法,以提升计算效率。研究表明,该方法在多个学习领域(包括监督学习和强化学习)中实现了针对各种对抗攻击的最先进性能。
Aug, 2024