鲁棒性和准确性之间的理论权衡
本文详细描述了对高斯特征下的线性回归算法进行对抗训练的作用,给出了任何算法能够实现的准确度之间的基本权衡,并阐明了现代迷你最大对抗训练方法在高维度情况下达到的标准 / 稳健准确度和相应的权衡。
Feb, 2020
本文介绍了在安全关键应用中,对抗攻击对部署最先进的分类器构成重大威胁;总体上,经验证的防御方法虽然具有鲁棒性保证,但是实践中的对抗训练比较受欢迎。我们系统性地比较了这两种鲁棒性训练方法在多个计算机视觉任务中的标准错误和鲁棒错误,结果表明,在大多数任务和威胁模型下,采用凸松弛的认证训练比采用对抗训练更容易带来标准错误和鲁棒错误。此外,我们还探讨了认证和对抗训练之间的错误差距如何依赖于威胁模型和数据分布,并且除了扰动预算外,我们还确定了扰动集的形状和数据分布的隐式边缘等重要因素。本文在合成和图像数据集上进行了大量消融实验,证明我们的观点。
Jun, 2023
本文研究了在对抗训练中通过二元高斯混合分类问题的分析,得到最优贝叶斯分类器和最优对抗分类器之间的区别,并研究了不同分布参数(类别中心之间的距离、类别比例和协方差矩阵)对精度差异的影响,提出在一定条件下,平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化,并证明在最坏情况下精度差距为 Theta(epsilon^2),这在理论上表明了实现近乎完美精度的强健分类器的可能性,这在实际算法中很少体现。
Jul, 2021
利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题,通过在 Wasserstein ball 内惩罚扰动数据分布的方式,通过我们提出的训练过程,能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性,同时具有较小的计算和统计成本,并且我们的统计保证使我们能够有效地验证整体损失的健壮性,对于感知扰动,我们的方法与启发式方法相匹配或更好。
Oct, 2017
在缓解基于查询的攻击时,我们的方法能够有效建立鲁棒性和准确性之间的权衡,通过针对低置信度输入激活专用防御措施,从而提供更好的鲁棒性和准确性的权衡,无需训练。
Dec, 2023
本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法,准确描述了数据增广对于标准误差的影响,并证明了最近提出的鲁棒自学习估计器(RST)可以在不损失标准误差的情况下提高鲁棒误差。经验证,使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。
Feb, 2020
该研究挖掘了鲁棒性训练背后的局部不变性归纳偏差,提出了一种名为 SCORE 的自洽鲁棒错误来平衡鲁棒性和准确性,通过用距离度量的变种替代 KL 散度来优化 SCORE,能够在 RobustBench 下实现顶尖性能。
Feb, 2022