Jun, 2024

基于数据驱动的利普希茨连续性:提高对抗鲁棒性的成本有效方法

HTML
PDF
TL;DR通过探究Lipschitz连续性的概念，该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性，以对抗敌对攻击，在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法，将输入域重新映射到受限范围内，减小Lipschitz常数，从而提高鲁棒性。与现有的反对抗性训练模型不同，我们的方法几乎没有成本，可以与现有模型集成而无需重新训练。实验结果表明，我们的方法的普适性，可以与各种模型结合，实现鲁棒性的增强。此外，我们的方法在RobustBench排行榜上为CIFAR10、CIFAR100和ImageNet数据集实现了最佳鲁棒准确度。
发现论文，激发创造
  • Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

    针对神经网络模型在输入数据遭到恶意篡改时的高敏感度，提出一种能够证明防御网络免受攻击的模型的构建方法，通过计算Lipschitz常数与预测边界之间的关系，提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法，并提出一种有效的训练程序，提高数据点周围可证明的保护区域和网络的鲁棒性。

    Feb, 2018

  • 带有李普希茨连续性的鲁棒神经网络

    本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。

    Nov, 2018

  • 深度神经网络的Lipschitz常数的高效准确估计

    本文提出了一种基于凸优化框架和半定规划的方法，用于计算DNNs的Lipschitz常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的Lipschitz边界最准确，可用于有效提供稳健性保证。

    Jun, 2019

  • 精度与鲁棒性对比的深入探究

    本文研究深度学习中的鲁棒性与准确性平衡问题，发现对数据集使用局部Lipschitz函数可以同时实现两者，而实践中的不足来自于并不普遍使用这种方法，并且缺乏足够的泛化技巧。研究表明加上dropout等技术可以更好地解决这一问题。

    Mar, 2020

  • 使用Lipschitz界限训练鲁棒神经网络

    通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

    May, 2020

  • 先前Lipschitz连续性对贝叶斯神经网络的对抗鲁棒性的影响

    本文考察了贝叶斯神经网络的对抗鲁棒性，并研究了模型选择对其稳健性的影响，发现先验方差确实对其对抗鲁棒性有影响。

    Jan, 2021

  • 重新思考Lipschitz神经网络和认证鲁棒性：布尔函数视角

    通过用布尔函数表示方法，研究证明了标准Lipschitz网络无法在有限数据集和Lipschitz函数逼近上进行鲁棒分类。提出了一种新的Lipschitz网络方法并通过实验验证了鲁棒性。

    Oct, 2022

  • 具有弹性控制和较大利普希茨常数的认证鲁棒模型

    通过校准的利普希茨边界-边际损失（CLL）方法，本论文针对对抗性样本、利普希茨边界和预测边际进行研究，提出了改进的鲁棒性证明，通过解决输出分布缩减、决策函数平滑和模型复杂度方面的问题，得到更好的鲁棒性。

    Sep, 2023

  • 通过动态边距最大化和改进的Lipschitz正则化实现的认证鲁棒性

    通过开发一个鲁棒的训练算法和有效计算神经网络的Lipschitz常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在MNIST、CIFAR-10和Tiny-ImageNet数据集上的实验证实了该算法的竞争性改进。

    Sep, 2023

  • 1-利普希茨层比较：记忆、速度和可证实的鲁棒性

    深度学习模型安全系统中，提高1-Lipschitz神经网络的可证明鲁棒性保证的方法和性能比较

    Nov, 2023