ICMLNov, 2017

通过凸外部对抗多面体证明抵御对抗样本的有效性

PDF
TL;DR本文提出了一种广义线性可证明鲁棒性方法来学习深度 ReLU 分类器，通过考虑凸外似集合，去开发基于线性规划的强健优化程序，提出了一种类似于反向传播网络的方法，以很高效的方式产生能够保证鲁棒性损失的优化方法，并展示了该方法在多项任务中的应用。
deep relu-based classifiersnorm-bounded adversarial perturbationsrobust optimization procedureconvex outer approximationadversarial attack
发现论文，激发创造
  • 可证明的对抗性防御的扩展

    本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

    May, 2018

  • 对抗样本的可证明证书：在多面体的并集中嵌套一个球体

    该研究提出了一种计算具有凸性 $p$- 范数的深度神经网络的点对点鲁棒性的新方法，算法 GeoCert 可以在复杂的神经网络中输出距离下界，且该方法比以前的方法更紧凑。

    Mar, 2019

  • 通过学习限制性对敌多面体提高对抗攻击鲁棒性

    通过限制对干净样本添加范数约束的微小扰动后得到的输出可达集合，我们旨在训练出对抗攻击具有强鲁棒性的深度神经网络。我们称这个集合为对抗多面体，每个干净样本都对应一个对抗多面体。实际上，如果所有样本对应的多面体都是紧凑的，并且不与深度神经网络的决策边界相交，那么深度神经网络就能对抗攻击具有鲁棒性。因此，我们的算法的内部工作是基于学习受限的对抗多面体（CAP）。通过一系列实验证明了 CAP 相对于现有的对抗鲁棒性方法在提升模型对抗最先进攻击（包括 AutoAttack）的鲁棒性方面的有效性。

    Jan, 2024

  • 针对 ReLU 网络的对抗性样本的鲁棒性证书

    本文提出一种基于深度 ReLU 网络的攻击不可知的稳健性证书，用于多标签分类问题，通过利用 ReLU 网络的分段线性结构，提出了两个距离下界，分别为单纯形证书和决策边界证书，其中单纯形证书具有闭合形式，可微性和计算速度快的特点，并在 MNIST 数据集上验证其理论有效性。

    Feb, 2019

  • 通过凸优化对两层多项式和 ReLU 激活网络进行对抗训练

    训练神经网络，使其对抗性攻击具有鲁棒性，特别是在采用过度参数化的模型进行安全关键设置时，仍然是深度学习中的一个重要问题。

    May, 2024

  • 通过最大线性区域的优化证明 ReLU 网络的鲁棒性

    研究了神经网络分类器在安全关键系统中的应用，提出了一种对 ReLU 网络的正则化方案，使分类器的鲁棒性得到提升，并在实验中取得了较好的效果。

    Oct, 2018

  • 快速自适应边界攻击生成最小扭曲的对抗样本

    本文提出了一种新的基于 $l_p$-norms 的白盒对抗攻击方法，通过最小化扰动的大小来改变特定输入的类别，这个方法具有几何直观性，是一种性能优越的攻击方法，比专门针对一个 $l_p$-norm 的攻击方法具有更好的鲁棒性，并且可以解决梯度掩盖的问题。

    Jul, 2019

  • 关于鲁棒性对抗样本和多项式优化的研究

    通过优化多项式优化问题的技术，我们设计了具有计算效率和可证明保证的鲁棒性算法，能够抵御测试时的对抗性干扰，特别地，针对线性分类器和二次多项式阈值函数（PTF）分类器，我们给出了其计算鲁棒性的代价的精确刻画，同时，我们还证明了用环境所提供的函数信息可以在有效时间内帮助生成对抗攻击样本，并证明这些攻击样本在实际数据上是有效的。

    Nov, 2019

  • 通过凸优化实现两层之外深度 ReLU 网络的全局最优

    本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 揭示对范数受限对抗样本的对抗训练极限

    探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU 激活函数和模型权重平均化可以训练出强健模型，同时在 CIFAR-10 和 CIFAR-100 数据集上有了大幅度的提升。

    Oct, 2020