线性假设和神经网络的对抗学习保证

Apr, 2020

线性假设和神经网络的对抗学习保证

Adversarial Learning Guarantees for Linear Hypotheses and Neural Networks

Pranjal Awasthi, Natalie Frank, Mehryar Mohri

TL;DR研究了在 $l_r$-norm 测量下带有敌对干扰的线性假设的敌对经验 Rademacher 复杂性的上限和下限，扩展了已有的结果并提供了更精细的维度依赖性分析，并在单个 ReLU 单元和具有一层隐藏层的前馈神经网络中提供了 Rademacher 复杂度上下界。

Abstract

Adversarial or test time robustness measures the susceptibility of a classifier to perturbations to the test input. While there has been a flurry of recent work on designing defenses against such perturbations, the theory of adversarial robustness is not well understood. In order to ma

adversarial robustness rademacher complexity neural networks linear hypotheses relu unit

发现论文，激发创造

对抗鲁棒泛化的 Rademacher 复杂度

本文主要研究了机器学习模型的鲁棒性问题，特别是针对 l∞ 攻击所造成的影响，并考察了基于 Rademacher 复杂度的鲁棒泛化问题。研究表明，通过限制权重矩阵的 l1 范数可能是提高在对抗环境下的泛化性能的有效方法。

Oct, 2018

缩小差距：对健壮和标准泛化的 Rademacher 复杂性

对深度神经网络进行对抗性示例训练通常导致对测试时的对抗数据泛化能力差，本论文通过 Rademacher 复杂度研究了这个问题，提出了上确界对于匹配标准设置中的最优上确界的 DNN 的对抗 Rademacher 复杂度，通过计算对抗函数类的覆盖数来解决核心挑战，并引入了一种新的覆盖数变体，称为 “均匀覆盖数”，以有效地填补稳健和标准泛化中的 Rademacher 复杂度差距。

Jun, 2024

分类器对于对抗扰动的鲁棒性分析

本论文分析了深层网络的一个有趣现象，即它们对于对抗性扰动的不稳定性，并提出了一个分析分类器鲁棒性的理论框架，并且为对抗性扰动的鲁棒性建立了一个上限。具体而言，我们建立了分类器对于对抗性扰动的鲁棒性的一个通用上限并用一些线性和二次分类器的例子说明了所获得的上限。我们的结果表明，在涉及小区分能力的任务中，所有选定的分类器将不会对于对抗性扰动产生鲁棒性，即使达到了较高的准确率。

Feb, 2015

通过函数转换的对抗风险界

本文提出了一种用于衡量线性和神经网络分类器对对抗干扰的鲁棒性的对抗风险概念，并通过对函数变换的界定来推导出对抗风险的上界，藉此解决了标准学习理论技术无法解决的问题。同时，还探讨了该理论对于多分类和回归的扩展，并提出了两种算法用于优化线性案例下的对抗风险界，并与正则化和分布鲁棒性进行了联系。

Oct, 2018

随机分类器对抗性样本的鲁棒性

本文研究了对抗攻击的鲁棒性理论，聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念，在此基础上进行了两项新的贡献：提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在 CIFAR-10 和 CIFAR-100 标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。

Feb, 2021

通过强健低秩表示实现对抗鲁棒性

本研究探讨了使用自然低秩表示训练神经网络以提高分类器对抗干扰抵抗力的效果，并提出了一种基于乘法权重更新方法且具有可证明保证的快速算法，以使得网络对于特定类型的干扰具有认证的鲁棒性。

Jul, 2020

敌对风险和稳健性：统一分布的一般定义和影响

研究了均匀分布在 {0,1}^n 上的实例中的敌对扰动，提出了不同于通常定义的错误区域的保真度定义，并根据该定义研究了任何分类问题的任何分类器的风险和稳健性的内在限制。使用布尔超立方体的等周不等式和中心极限定理，对单个和大规模的问题提出了与数学相关的结果。

Oct, 2018

通过更多无标签数据来提升对抗鲁棒泛化能力

本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在 MNIST 和 Cifar-10 上的对抗训练方法。

Jun, 2019

关于对抗训练的泛化性质

本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

Aug, 2020

为什么 ReLU 网络的对抗训练很困难？

本文通过数学推导的方法得到了对 ReLU 网络中对抗性扰动的解析解，并从理论上解释了对抗性训练的困难。具体来说，我们得到了由多步攻击生成的对抗性扰动的动力学方程，表明对抗性扰动倾向于加强与损失函数的 Hessian 矩阵中排名前几个特征值相对应的特征向量。我们还证明了对抗性训练倾向于以指数方式加强那些梯度范数较大的不自信输入样本的影响。此外，我们发现对抗性训练加强了相对于网络参数的损失函数 Hessian 矩阵的影响，使得对抗性训练更易沿少数样本方向振荡，从而加剧了对抗性训练的难度。关键是，我们的证明为对抗性训练理解方面的先前发现提供了统一的解释。

May, 2022