朝着高准确度的概率鲁棒性认证
在此研究中,我们提出了一种基于自适应认证半径训练的新方法,旨在在保持高标准准确性的同时,提高模型的鲁棒性和准确性,从而推进现有准确性与鲁棒性的权衡。我们在 MNIST、CIFAR-10 和 TinyImageNet 数据集上验证了该方法的有效性,尤其在 CIFAR-10 和 TinyImageNet 上,与基准方法相比,我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。
Jul, 2023
该研究提出了一种概率证明框架 PROVEN,用于验证神经网络在输入加噪时的鲁棒性,可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变,证书是基于现有的神经网络鲁棒性验证框架,该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。
Dec, 2018
通过采用贝叶斯误差进行韧性分析,本文探讨了在考虑数据分布的不确定性的情况下,获得可证实韧性和保持准确性的极限,并建立了基于个别类别和边界分布的可证实韧性准确性的上界。
May, 2024
本文提出了一种基于 Chernoff-Cramer Bounds 的新型通用概率认证方法,可以用于对抗性攻击环境下的机器学习应用。实验结果支持了我们的理论发现,证明了我们的方法对于语义扰动具有防御能力。
Sep, 2021
提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架,用于训练可证明强健的神经网络,并开发了一个新的梯度下降技术,可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较,对 MNIST 和 CIFAR-10 的结果表明,所提出的方法可以始终匹配或优于过去的方法,特别是在 MNIST 的 epsilon = 0.3 时,达到了 6.60%的验证测试错误率,在 CIFAR-10 上达到了 66.57%(epsilon = 8/255)。
Aug, 2020
通过贝叶斯学习的视角考虑深度神经网络的对抗训练,并提出了一种具有可证明保证的贝叶斯神经网络(BNN)的对抗训练的原则性框架。该方法可在 MNIST、FashionMNIST 和 CIFAR-10 上训练出可证明鲁棒性的模型,并用于不确定性校准。这是第一次直接训练可证明的 BNN,可促进在安全关键应用中的部署。
Feb, 2021
本文介绍了一种新方法,即通过自适应实现认证,将经过对抗训练的模型转化为随机平滑分类器,在推理过程中提供 l2 范数的认证鲁棒性,同时不影响它们对抗攻击的经验鲁棒性。
Feb, 2021
本文介绍了在安全关键应用中,对抗攻击对部署最先进的分类器构成重大威胁;总体上,经验证的防御方法虽然具有鲁棒性保证,但是实践中的对抗训练比较受欢迎。我们系统性地比较了这两种鲁棒性训练方法在多个计算机视觉任务中的标准错误和鲁棒错误,结果表明,在大多数任务和威胁模型下,采用凸松弛的认证训练比采用对抗训练更容易带来标准错误和鲁棒错误。此外,我们还探讨了认证和对抗训练之间的错误差距如何依赖于威胁模型和数据分布,并且除了扰动预算外,我们还确定了扰动集的形状和数据分布的隐式边缘等重要因素。本文在合成和图像数据集上进行了大量消融实验,证明我们的观点。
Jun, 2023
本文提出了一种基于确定性证明的机器学习模型认证方法,通过基于正则化损失的训练,以及对高斯平均数期望值的估算,实现了在无需标签信息的情况下,针对 ImageNet-1k 数据集的模型认证,并使得机器学习模型对抗攻击具有抵抗性。
Oct, 2020
通过在网络中加入全局 Lipschitz 边界,文中提出的方法可以快速训练大型强健的神经网络,实现了可证明的最先进的可验证准确性。同时,该方法比最近的可证方法需要的时间和内存少得多,并在在线认证时产生可忽略的成本。
Feb, 2021