先前Lipschitz连续性对贝叶斯神经网络的对抗鲁棒性的影响
引入了一种基于概率鲁棒性的贝叶斯神经网络(BNNs)的测量方法,定义为在某个有界集合内是否存在另一个点,使得BNN的预测在这两个点之间有差异的概率,并且可以用于量化对抗样本的存在概率。通过基于概率模型的统计验证技术,开发了一个框架,可以估计具有统计保证的BNN的概率鲁棒性,并在MNIST和GTSRB数据集的图像分类任务上提供了实验对比。结果可以在对抗环境中量化BNN预测的不确定性。
Mar, 2019
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络(BNN)的主题,并建议对抗性训练的BNN比其非贝叶斯对应物更能抵御对抗攻击。在此,笔者分析了所提出的防御,并建议需要调整对抗攻击,以融入贝叶斯网络的随机性质,以对其稳健性进行准确评估。使用这种新型攻击,我表明对抗性训练的BNN似乎没有更强的稳健性证据。
Jul, 2019
分析了在大数据、超参数限制条件下对贝叶斯神经网络(BNN)的对抗攻击几何特征,并证明了其后验鲁棒性能和基于梯度的对抗攻击是相关的。在MNIST和Fashion MNIST数据集中,利用Hamiltonian Monte Carlo和Variational Inference实现了高精度和鲁棒性。
Feb, 2020
本文旨在分析大数据下拟贝叶斯神经网络(Bayesian Neural Networks)对抗性攻击(Adversarial Attack)的几何特征,证明当数据分布存在退化时,对抗性攻击的易感性增加,并证明拟贝叶斯神经网络后验概率分布的期望梯度为零,因此在MNIST、Fashion MNIST和半月形数据集上,拟贝叶斯神经网络可展现出对于基于梯度和基于无梯度攻击的同时鲁棒性和高准确率。
Jul, 2022
本文提出了一种新算法来训练深度神经网络模型以抵御对抗攻击,并提出防止模式崩溃以更好地逼近多模式贝叶斯模型的后验分布的方法。其提出的信息增益目标证明了该算法可以使其在抗对抗风险逼近常规经验风险,并且证明了其在CIFAR-10和STL-10数据集上比现有算法实现了更高的鲁棒性30%。
Dec, 2022
贝叶斯神经网络并不具备固有的对抗攻击鲁棒性,而近期的研究表明对抗性样本导致神经网络在各种视觉和语言任务上失效。该研究通过研究三个任务的对抗鲁棒性来验证贝叶斯神经网络的鲁棒性,结果表明即使使用相对不复杂的攻击方法,使用最先进的近似推断方法和哈密頓蒙特卡洛方法训练的贝叶斯神经网络仍然容易受到对抗攻击,并揭示了之前声称贝叶斯神经网络具备固有对抗鲁棒性的研究中存在的概念和实验错误。
Apr, 2024
对于建立在神经网络上的许多关键系统来说,对抗性例子构成了一种安全威胁。尽管确定性鲁棒性通常会导致显著的准确性下降,但已提出概率鲁棒性(即在给定区域内具有相同标签的概率≥1-κ)是实现鲁棒性同时保持准确性的一种有前景的方法。然而,现有的用于概率鲁棒性的训练方法仍然存在着不可忽视的准确性损失。目前尚不清楚在优化概率鲁棒性时是否存在准确性的上界以及κ与此上界之间是否存在某种关系。本研究从贝叶斯误差的角度研究了这些问题。我们发现,尽管贝叶斯不确定性确实影响了概率鲁棒性,但其对确定性鲁棒性的影响要小。这种减小的贝叶斯不确定性允许在概率鲁棒性准确性上具有更高的上界,而这个上界要高于确定性鲁棒性的上界。此外,我们证明了在最佳概率鲁棒性下,每个具有概率鲁棒性的输入在一个较小的邻域内也是具有确定性鲁棒性的。我们还表明,在邻域内进行投票总是提高概率鲁棒性准确性,并且随着κ的增加,概率鲁棒性准确性的上界也单调增加。我们的实证结果也与我们的结论一致。
May, 2024
通过探究Lipschitz连续性的概念,该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性,以对抗敌对攻击,在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法,将输入域重新映射到受限范围内,减小Lipschitz常数,从而提高鲁棒性。与现有的反对抗性训练模型不同,我们的方法几乎没有成本,可以与现有模型集成而无需重新训练。实验结果表明,我们的方法的普适性,可以与各种模型结合,实现鲁棒性的增强。此外,我们的方法在RobustBench排行榜上为CIFAR10、CIFAR100和ImageNet数据集实现了最佳鲁棒准确度。
Jun, 2024