鲁棒训练的预期紧界
本文提出了一种技术,能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构,同时采用非线性随机投影的方式进行训练,并通过级联模型进一步提高分类器的鲁棒性能。在MNIST和CIFAR数据集上进行实验,证明了该方法在可证明的抗干扰错误率上有着明显的提升。
May, 2018
通过分析,我们展示了如何利用一种简单的边界技术(interval bound propagation,IBP)来训练大型保正可证神经网络,从而打败了验证准确率最高的现有技术,在MNIST,CIFAR-10和SVHN数据集上达到了最先进的结果。
Oct, 2018
本文提出了一种名为CROWN-IBP的新认证敌对训练方法,该方法结合了快速的IBP边界传播和基于紧线性松弛的后向传播,能够高效地提供强大的神经网络分类器,并在MNIST和CIFAR-10数据集上超过以往所有的线性松弛和边界传递认证防御的最佳结果
Jun, 2019
本篇研究旨在探究interval bound propagation和CROWN的关系,并证明线性绑定线是比IBP更紧的。进一步提出CROWN的放松版本LBP,它可以用于验证大型网络以获得比IBP更低的验证误差。我们还设计了一种新的激活函数ParamRamp,并在MNIST,CIFAR-10和Tiny-ImageNet等数据集上进行了广泛实验,取得了领先的验证稳健性结果。
Apr, 2021
本文讨论了区间分析(或区间边界传播,IBP)用于验证和训练可靠机器学习的深度神经网络的可行性问题。研究发现,对于任何深度神经网络分类只有三个点,存在IBP无法证明的有效规范。此外,在单隐藏层神经网络的限制情况下,存在一组点,无论采用多少隐藏层,都无法通过区间分析来证明其分类鲁棒性。
Dec, 2021
本研究就 Interval Bound Propagation 的训练过程进行了理论分析,证明了当神经网络使用该方法进行训练时,具有一定的鲁棒性保证,并可以在有足够小的扰动半径和大网络宽度的情况下,使用梯度下降法线性收敛到零的鲁棒训练误差。
Mar, 2022
IBP-R是一种新颖的验证训练算法, 使用扩大的域上的对抗攻击和正则化术语,并使用廉价的间隔边界传播来最小化非凸验证问题与其近似之间的差距。通过利用最近的分支换框架,我们展示了IBP-R获取了CIFAR-10上小扰动的最新验证鲁棒性-准确性折衷,并且比相关先前的工作训练要快得多。
Jun, 2022
本文提出一种新的方法,通过Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性,可以在大的扰动(如L-inf bound为16/255时)达到最先进的性能,同时在标准边界(8/255)也胜过现有的防御机制。
Oct, 2022
本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题,并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程,大大优于现有方法,已成为量化神经网络鲁棒性训练和认证新的标准。
Nov, 2022