关于使用区间边界传播进行有保证鲁棒性训练的收敛性
通过分析,我们展示了如何利用一种简单的边界技术(interval bound propagation,IBP)来训练大型保正可证神经网络,从而打败了验证准确率最高的现有技术,在 MNIST,CIFAR-10 和 SVHN 数据集上达到了最先进的结果。
Oct, 2018
本文提出了一种名为 CROWN-IBP 的新认证敌对训练方法,该方法结合了快速的 IBP 边界传播和基于紧线性松弛的后向传播,能够高效地提供强大的神经网络分类器,并在 MNIST 和 CIFAR-10 数据集上超过以往所有的线性松弛和边界传递认证防御的最佳结果
Jun, 2019
通过期望较紧的下界(ETB),我们可以将 IBP 的置信区间传播方法扩展到更深的神经网络,通过简单的标准训练程序在 MNIST 和 CIFAR10 上实现了令人印象深刻的鲁棒性 - 准确性平衡。
May, 2019
本篇研究旨在探究 interval bound propagation 和 CROWN 的关系,并证明线性绑定线是比 IBP 更紧的。进一步提出 CROWN 的放松版本 LBP,它可以用于验证大型网络以获得比 IBP 更低的验证误差。我们还设计了一种新的激活函数 ParamRamp,并在 MNIST,CIFAR-10 和 Tiny-ImageNet 等数据集上进行了广泛实验,取得了领先的验证稳健性结果。
Apr, 2021
IBP-R 是一种新颖的验证训练算法, 使用扩大的域上的对抗攻击和正则化术语,并使用廉价的间隔边界传播来最小化非凸验证问题与其近似之间的差距。通过利用最近的分支换框架,我们展示了 IBP-R 获取了 CIFAR-10 上小扰动的最新验证鲁棒性 - 准确性折衷,并且比相关先前的工作训练要快得多。
Jun, 2022
本文提出了三种改进的 IBP 方法:权重初始化方法、在每个图层中完全添加批量归一化以减少 ReLU 激活状态的不平衡,设计正则化以在 wamrup 期间显式加紧证明的范围并平衡 ReLU 激活状态。使用很短的训练计划(分别为 160 和 80 个总时代),我们能够在 CIFAR-10(ε=8/255)和 TinyImageNet(ε=1/255)上实现 65.03%和 82.36%的验证错误,并在相同的网络架构下优于使用相同的网络架构在数百个或数千个阶段进行训练的文献 SOTA。
Mar, 2021
本文讨论了区间分析(或区间边界传播,IBP)用于验证和训练可靠机器学习的深度神经网络的可行性问题。研究发现,对于任何深度神经网络分类只有三个点,存在 IBP 无法证明的有效规范。此外,在单隐藏层神经网络的限制情况下,存在一组点,无论采用多少隐藏层,都无法通过区间分析来证明其分类鲁棒性。
Dec, 2021
本文研究了在保证噪声攻击后的量化神经网络的训练和认证问题,并提出了一个能够完全利用 GPU 加速的 QA-IBP 训练方法和验证流程,大大优于现有方法,已成为量化神经网络鲁棒性训练和认证新的标准。
Nov, 2022
本文提出了一种解决 NLP 系统鲁棒性问题的方法,通过形式化验证系统对先前已定义的对抗攻击的稳健性,使用 基于区间边界传播法的模型验证方法模拟离散文本扰动,改进对数似然训练目标训练模型,该方法能够有效地验证模型,并保证模型在最坏情况下的鲁棒性。
Sep, 2019