通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性
通过校准的利普希茨边界 - 边际损失(CLL)方法,本论文针对对抗性样本、利普希茨边界和预测边际进行研究,提出了改进的鲁棒性证明,通过解决输出分布缩减、决策函数平滑和模型复杂度方面的问题,得到更好的鲁棒性。
Sep, 2023
针对神经网络模型在输入数据遭到恶意篡改时的高敏感度,提出一种能够证明防御网络免受攻击的模型的构建方法,通过计算 Lipschitz 常数与预测边界之间的关系,提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法,并提出一种有效的训练程序,提高数据点周围可证明的保护区域和网络的鲁棒性。
Feb, 2018
通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络,同时鼓励通过保持其利普希茨常数来促进鲁棒性,从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序,最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。
May, 2020
本文提出了一种训练算法插件,可以有效地减小神经网络的局部 Lipschitz 上界,以提高神经网络的自然精度和可证明的精度之间的权衡,并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]
Nov, 2021
本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型,并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题,设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明,在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。
Jun, 2020
通过探究 Lipschitz 连续性的概念,该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性,以对抗敌对攻击,在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法,将输入域重新映射到受限范围内,减小 Lipschitz 常数,从而提高鲁棒性。与现有的反对抗性训练模型不同,我们的方法几乎没有成本,可以与现有模型集成而无需重新训练。实验结果表明,我们的方法的普适性,可以与各种模型结合,实现鲁棒性的增强。此外,我们的方法在 RobustBench 排行榜上为 CIFAR10、CIFAR100 和 ImageNet 数据集实现了最佳鲁棒准确度。
Jun, 2024
该研究针对分类器的脆弱性进行讨论,提出 Cross-Lipschitz 正则化函数可提高分类器对抗攻击的鲁棒性,并给出了实例具体的下界。在不影响分类性能的情况下,使用该正则化函数可以提高核方法和神经网络的鲁棒性。
May, 2017
本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法,并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现,可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。
May, 2018
本文研究了深度神经网络的输入梯度正则化,并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合,可以使模型更加稳健,并且可以使用图像的梯度范数进行攻击检测。
Aug, 2018
本文提出了一种基于凸优化框架和半定规划的方法,用于计算 DNNs 的 Lipschitz 常数的保证上界,通过描述激活函数的性质,使得算法具有较高的准确性和可伸缩性,实验证明该方法的 Lipschitz 边界最准确,可用于有效提供稳健性保证。
Jun, 2019