先前 Lipschitz 连续性对贝叶斯神经网络的对抗鲁棒性的影响
通过探究 Lipschitz 连续性的概念,该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性,以对抗敌对攻击,在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法,将输入域重新映射到受限范围内,减小 Lipschitz 常数,从而提高鲁棒性。与现有的反对抗性训练模型不同,我们的方法几乎没有成本,可以与现有模型集成而无需重新训练。实验结果表明,我们的方法的普适性,可以与各种模型结合,实现鲁棒性的增强。此外,我们的方法在 RobustBench 排行榜上为 CIFAR10、CIFAR100 和 ImageNet 数据集实现了最佳鲁棒准确度。
Jun, 2024
本文旨在分析大数据下拟贝叶斯神经网络 (Bayesian Neural Networks) 对抗性攻击 (Adversarial Attack) 的几何特征,证明当数据分布存在退化时,对抗性攻击的易感性增加,并证明拟贝叶斯神经网络后验概率分布的期望梯度为零,因此在 MNIST、Fashion MNIST 和半月形数据集上,拟贝叶斯神经网络可展现出对于基于梯度和基于无梯度攻击的同时鲁棒性和高准确率。
Jul, 2022
贝叶斯神经网络并不具备固有的对抗攻击鲁棒性,而近期的研究表明对抗性样本导致神经网络在各种视觉和语言任务上失效。该研究通过研究三个任务的对抗鲁棒性来验证贝叶斯神经网络的鲁棒性,结果表明即使使用相对不复杂的攻击方法,使用最先进的近似推断方法和哈密頓蒙特卡洛方法训练的贝叶斯神经网络仍然容易受到对抗攻击,并揭示了之前声称贝叶斯神经网络具备固有对抗鲁棒性的研究中存在的概念和实验错误。
Apr, 2024
分析了在大数据、超参数限制条件下对贝叶斯神经网络(BNN)的对抗攻击几何特征,并证明了其后验鲁棒性能和基于梯度的对抗攻击是相关的。在 MNIST 和 Fashion MNIST 数据集中,利用 Hamiltonian Monte Carlo 和 Variational Inference 实现了高精度和鲁棒性。
Feb, 2020
本文提出了利用 Lipschitz 连续性作为二进制神经网络 (BNN) 模型鲁棒性的准确度量标准,并通过正则化方法,采用保留矩阵来近似目标权重矩阵的谱范数,以强化二进制神经网络的鲁棒性。实验证明,该方法在 CIFAR 和 ImageNet 数据集上能够达到最先进水平的性能。
Jul, 2022
从结构的角度改进了神经网络的鲁棒性,提出了一种基于架构参数的约束方式,通过单变量对数正态分布逼近了整个网络的 Lipschitz 常数,累积函数约束分布参数可满足信赖度要求,结果表明该算法比各种 NAS 算法搜索的拥有对抗性训练的神经体系结构以及高效的人工设计模型都有更好的表现,对不同数据集进行了多种攻击。
Sep, 2020
Liu 等人最近的一篇论文结合了对抗训练和贝叶斯神经网络(BNN)的主题,并建议对抗性训练的 BNN 比其非贝叶斯对应物更能抵御对抗攻击。在此,笔者分析了所提出的防御,并建议需要调整对抗攻击,以融入贝叶斯网络的随机性质,以对其稳健性进行准确评估。使用这种新型攻击,我表明对抗性训练的 BNN 似乎没有更强的稳健性证据。
Jul, 2019
通过贝叶斯学习的视角考虑深度神经网络的对抗训练,并提出了一种具有可证明保证的贝叶斯神经网络(BNN)的对抗训练的原则性框架。该方法可在 MNIST、FashionMNIST 和 CIFAR-10 上训练出可证明鲁棒性的模型,并用于不确定性校准。这是第一次直接训练可证明的 BNN,可促进在安全关键应用中的部署。
Feb, 2021
通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络,同时鼓励通过保持其利普希茨常数来促进鲁棒性,从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序,最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。
May, 2020