广义Lipschitz正则化等于分布式健壮性
该研究针对分类器的脆弱性进行讨论,提出 Cross-Lipschitz 正则化函数可提高分类器对抗攻击的鲁棒性,并给出了实例具体的下界。在不影响分类性能的情况下,使用该正则化函数可以提高核方法和神经网络的鲁棒性。
May, 2017
通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果,并提出了一些新的有效的正则化策略,实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。
Sep, 2018
本文提出了一种在CIFAR-10数据集上,使用最坏情况对抗训练(WCAT)提高11%的对抗鲁棒性。基于损失函数梯度范数的期望值和最大值,我们获得了可验证的平均情况和最坏情况的鲁棒性保证。我们将对抗训练解释为总变分正则化,这是数学图像处理中的基本工具,将WCAT解释为利普希茨正则化。
Oct, 2018
本文研究深度学习中的鲁棒性与准确性平衡问题,发现对数据集使用局部Lipschitz函数可以同时实现两者,而实践中的不足来自于并不普遍使用这种方法,并且缺乏足够的泛化技巧。研究表明加上dropout等技术可以更好地解决这一问题。
Mar, 2020
通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络,同时鼓励通过保持其利普希茨常数来促进鲁棒性,从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序,最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。
May, 2020
本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型, 并通过Lipschitz约束将对抗性稳健学习问题形式化为损失最小化问题,设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明,在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。
Jun, 2020
本文研究了对抗攻击的鲁棒性理论,聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念,在此基础上进行了两项新的贡献:提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在CIFAR-10和CIFAR-100标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。
Feb, 2021
提出了一种新的框架,称为“General Lipschitz(GL)”,用于基于随机平滑的神经网络分类器的可证明鲁棒性,以对抗可组合的解决的语义扰动。在该框架内,分析了平滑分类器相对于参数变换的依赖性和对应的鲁棒性证书,与ImageNet数据集上的最先进方法相比,性能相当。
Aug, 2023
通过开发一个鲁棒的训练算法和有效计算神经网络的Lipschitz常数的方法,可以直接操控输入空间的决策边界,提高深度分类器对抗性扰动的鲁棒性。在MNIST、CIFAR-10和Tiny-ImageNet数据集上的实验证实了该算法的竞争性改进。
Sep, 2023
通过探究Lipschitz连续性的概念,该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性,以对抗敌对攻击,在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法,将输入域重新映射到受限范围内,减小Lipschitz常数,从而提高鲁棒性。与现有的反对抗性训练模型不同,我们的方法几乎没有成本,可以与现有模型集成而无需重新训练。实验结果表明,我们的方法的普适性,可以与各种模型结合,实现鲁棒性的增强。此外,我们的方法在RobustBench排行榜上为CIFAR10、CIFAR100和ImageNet数据集实现了最佳鲁棒准确度。
Jun, 2024