我们证明了,追求对抗鲁棒性和标准泛化之间存在固有的紧张关系,训练鲁棒性模型不仅可能更加费时,也会导致标准准确性的降低,并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。
May, 2018
本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上,我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。
Oct, 2020
本研究通过对线性回归中对最优线性预测器进行噪声扰动的方法,准确描述了数据增广对于标准误差的影响,并证明了最近提出的鲁棒自学习估计器(RST)可以在不损失标准误差的情况下提高鲁棒误差。经验证,使用不同的对抗训练方法进行 RST 可以改善 CIFAR-10 数据集上的标准误差和鲁棒误差。
Feb, 2020
机器学习中的容错分类需要更加复杂的分类器才能实现,此现象可能是由于当前的分类器结构限制引起的,简单分类器存在鲁棒性和准确性的权衡。
Jan, 2019
本论文分析了深层网络的一个有趣现象,即它们对于对抗性扰动的不稳定性,并提出了一个分析分类器鲁棒性的理论框架,并且为对抗性扰动的鲁棒性建立了一个上限。具体而言,我们建立了分类器对于对抗性扰动的鲁棒性的一个通用上限并用一些线性和二次分类器的例子说明了所获得的上限。我们的结果表明,在涉及小区分能力的任务中,所有选定的分类器将不会对于对抗性扰动产生鲁棒性,即使达到了较高的准确率。
Feb, 2015
通过对高维度输入数据的实践系统进行观察,我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性,以及随机扰动的鲁棒性同时易受影响的基本特性,证实了这一现象。然而,令人惊讶的是,即使对于分类器决策边界与训练和测试数据之间只有很小的边距,也很难通过随机取样的扰动来检测到对抗性示例,因此需要更严格的对抗性训练。
Sep, 2023
该研究提供了实证和理论证据表明对抗鲁棒性和图像损坏鲁棒性研究项目之间存在紧密联系,从而建议未来的对抗性防御应该考虑评估它们的方法对分布转移的鲁棒性。
该研究提出了一个确定深度学习模型标签更改是否合理的框架,并且定义了一个自适应的鲁棒性损失,使用导出的经验公式,开发了相应的数据增强框架和评估方法,证明了其对确定性标签下的一阶最近邻分类的维持一致性,并提供了实证评估结果。
Jun, 2021
本文研究在简单自然数据模型中,对抗鲁棒学习的样本复杂度可以显著大于标准学习,这个差距是信息理论的,且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难,至少部分来自这种固有的更大的样本复杂度。
Apr, 2018
当前对于对抗鲁棒性的研究存在固有局限性,需要突破传统的扰动界限,同时探究更复杂的模型来更全面地解决视觉表示中的对抗扰动问题。
Jul, 2022