ICLRNov, 2017

用混合整数规划评估神经网络的鲁棒性

PDF
TL;DR本文提出了一种基于混合整数规划的验证方法，对分段线性神经网络进行验证，以评估其对于对抗样本的脆弱性；通过紧凑的非线性公式和新颖的预处理算法实现了两到三个数量级的计算速度提升，并成功确定了 MNIST 分类器对于一定幅值下的对抗精度，相较于同类算法提供更好的证明。
neural networksverificationadversarial examplesmixed integer programcomputational speedup
发现论文，激发创造
  • 训练神经网络的强混合整数规划公式

    本文提出了一个强大的混合整数编程（MIP）框架，可以用于处理高维分段线性函数，从而建立与训练好的神经网络相匹配的数学模型，并通过这些数学模型来解决图像分类的鲁棒性验证和机器学习模型的决策问题。我们的方法比文献中其他方法更加有效，并且在图像分类网络的验证任务中取得了优异的结果。

    Nov, 2018

  • 二元神经网络属性验证的混合整数规划方法

    利用混合整数规划公式验证二值化神经网络 (BNN)，检查其可行性、MNIST 数据集和飞机冲突避免控制器中的性质，并证明相较于全精度神经网络的最先进的验证算法，通过验证 BNN 节省的时间是值得的。

    Mar, 2022

  • PROVEN：一种基于概率方法验证神经网络的稳健性

    该研究提出了一种概率证明框架 PROVEN，用于验证神经网络在输入加噪时的鲁棒性，可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变，证书是基于现有的神经网络鲁棒性验证框架，该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。

    Dec, 2018

  • 二进制神经网络的组合攻击

    本文研究了使用组合和整数优化来攻击二值化神经网络的问题，提出一种混合整数线性规划（MILP）的解决方案。实验表明，与标准梯度攻击（FGSM）相比，所提出的 IProp 算法表现良好，同时超越了 MILP 的限制。

    Oct, 2018

  • 贝叶斯神经网络中概率鲁棒性的严格验证

    我们介绍了两种算法，用于计算贝叶斯神经网络（BNNs）的概率鲁棒性的严格保证。

    Jan, 2024

  • 神经网络中的鲁棒性验证

    我们研究了神经网络计算的形式验证问题，探讨了其各种鲁棒性和最小化问题。我们提供了一个理论框架，使我们能够在神经网络中转换安全性和效率问题，并分析它们的计算复杂性。我们发现，在半线性设置中，对于分段线性激活函数和使用求和或最大度量时，大多数问题都属于 P 类或最多属于 NP 类。

    Mar, 2024

  • 在 MNIST 上开发第一个具有对抗鲁棒性的神经网络模型

    提出了一种使用单独的学习类条件数据分布来执行分析合成的新型鲁棒性分类模型，其在 MNIST 数据集上对 L0，L2 和 L 无穷小扰动都具备最先进的鲁棒性，攻击结果在正常类和对抗类之间呈现明显的感知边界。

    May, 2018

  • MixTrain: 可验证鲁棒神经网络的可扩展训练

    通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

    Nov, 2018

  • 对抗训练和可证明的鲁棒性：两个目标的故事

    提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架，用于训练可证明强健的神经网络，并开发了一个新的梯度下降技术，可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较，对 MNIST 和 CIFAR-10 的结果表明，所提出的方法可以始终匹配或优于过去的方法，特别是在 MNIST 的 epsilon = 0.3 时，达到了 6.60％的验证测试错误率，在 CIFAR-10 上达到了 66.57％（epsilon = 8/255）。

    Aug, 2020

  • 使用约束测量神经网络的健壮性

    提出了度量神经网络抗干扰能力的度量方法，并设计了一种基于线性规划方法的算法来近似度量方法。该算法对比现有算法生成了更加准确的度量估计，并且可以被用来提高神经网络的稳健性能。

    May, 2016