May, 2018

可证明的对抗性防御的扩展

PDF
TL;DR本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。
deep network classifiersadversarial perturbationnonlinear random projectioncascade modelsrobust error
发现论文，激发创造
  • 朝着对大幅扰动有抵抗力的深度学习模型

    本文提出了一种网络权重初始化的方法，使其能够在更高噪声水平下学习，同时评估了在 MNIST 和 CIFAR10 数据集上增强对抗噪声对学习范围的影响，并通过对简单多维伯努利分布的理论结果进行研究，提出了一些关于 MNIST 数据集可行扰动范围的见解。

    Mar, 2020

  • 利用逐步放大的随机梯度自由对抗攻击揭示了使用成熟攻击方法对稳健性的高估

    对 ReLu 神经网络进行梯度自由攻击可以提供对抗性攻击下的网络鲁棒性评估，相比于之前的最先进方法，可以更紧确地估计网络鲁棒性

    Mar, 2019

  • 揭示对范数受限对抗样本的对抗训练极限

    探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU 激活函数和模型权重平均化可以训练出强健模型，同时在 CIFAR-10 和 CIFAR-100 数据集上有了大幅度的提升。

    Oct, 2020

  • 通过凸外部对抗多面体证明抵御对抗样本的有效性

    本文提出了一种广义线性可证明鲁棒性方法来学习深度 ReLU 分类器，通过考虑凸外似集合，去开发基于线性规划的强健优化程序，提出了一种类似于反向传播网络的方法，以很高效的方式产生能够保证鲁棒性损失的优化方法，并展示了该方法在多项任务中的应用。

    Nov, 2017

  • 在 MNIST 上开发第一个具有对抗鲁棒性的神经网络模型

    提出了一种使用单独的学习类条件数据分布来执行分析合成的新型鲁棒性分类模型，其在 MNIST 数据集上对 L0，L2 和 L 无穷小扰动都具备最先进的鲁棒性，攻击结果在正常类和对抗类之间呈现明显的感知边界。

    May, 2018

  • 通过对抗训练平滑分类器实现可证明健壮的深度学习

    本文提出使用对抗训练来提高基于随机平滑的分类器的效果，并设计一种适应平滑分类器的攻击方法，通过大量实验，得出这种方法在 ImageNet 和 CIFAR-10 上的性能显著胜过所有现有的可证明的 L2 - 强健分类器，证明了这种方法是可靠的，且半监督学习和预训练能够进一步提高其效果。

    Jun, 2019

  • Lipschitz-Margin 训练：深度神经网络扰动不变的可扩展认证

    针对神经网络模型在输入数据遭到恶意篡改时的高敏感度，提出一种能够证明防御网络免受攻击的模型的构建方法，通过计算 Lipschitz 常数与预测边界之间的关系，提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法，并提出一种有效的训练程序，提高数据点周围可证明的保护区域和网络的鲁棒性。

    Feb, 2018

  • MixTrain: 可验证鲁棒神经网络的可扩展训练

    通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

    Nov, 2018

  • 深度卷积神经网络的鲁棒性建模的系统方法

    卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

    Jan, 2024

  • 扩展对抗训练以应对大扰动界限

    本文提出一种新的方法，通过 Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性，可以在大的扰动（如 L-inf bound 为 16/255 时）达到最先进的性能，同时在标准边界（8/255）也胜过现有的防御机制。

    Oct, 2022