对抗鲁棒泛化的 Rademacher 复杂度
研究了在 $l_r$-norm 测量下带有敌对干扰的线性假设的敌对经验 Rademacher 复杂性的上限和下限，扩展了已有的结果并提供了更精细的维度依赖性分析，并在单个 ReLU 单元和具有一层隐藏层的前馈神经网络中提供了 Rademacher 复杂度上下界。
Apr, 2020
对深度神经网络进行对抗性示例训练通常导致对测试时的对抗数据泛化能力差，本论文通过 Rademacher 复杂度研究了这个问题，提出了上确界对于匹配标准设置中的最优上确界的 DNN 的对抗 Rademacher 复杂度，通过计算对抗函数类的覆盖数来解决核心挑战，并引入了一种新的覆盖数变体，称为 “均匀覆盖数”，以有效地填补稳健和标准泛化中的 Rademacher 复杂度差距。
Jun, 2024
本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。
Apr, 2018
本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。
Aug, 2020
本文研究了对抗攻击的鲁棒性理论，聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念，在此基础上进行了两项新的贡献：提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在 CIFAR-10 和 CIFAR-100 标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。
Feb, 2021
算法和数据相关的广义化界限是解释现代机器学习算法的广义化行为所必需的。在这个背景下，存在包括 (各种形式的) 互信息和基于假设集稳定性的信息论广义化界限。我们提出了一个概念上相关但技术上独特的复杂度度量方法来控制广义化误差，这就是算法和数据相关的假设类的经验 Rademacher 复杂度。通过结合 Rademacher 复杂度的标准特性和这个类的方便结构，我们能够 (i) 获得基于有限分形维度的新界限，这些界限将之前从连续假设类推广到有限假设类，并避免了先前工作中所需的互信息项；(ii) 大大简化了最近一个和维度无关的随机梯度下降的广义化界限的证明；(iii) 我们轻松恢复了 VC 类和压缩方案的结果，类似于基于条件互信息的方法。
Jul, 2023
针对现代机器学习模型易受到对人类不可察觉的攻击的问题，采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差，此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距，此现象也出现在线性回归模型中。
Feb, 2020
本论文分析了深层网络的一个有趣现象，即它们对于对抗性扰动的不稳定性，并提出了一个分析分类器鲁棒性的理论框架，并且为对抗性扰动的鲁棒性建立了一个上限。具体而言，我们建立了分类器对于对抗性扰动的鲁棒性的一个通用上限并用一些线性和二次分类器的例子说明了所获得的上限。我们的结果表明，在涉及小区分能力的任务中，所有选定的分类器将不会对于对抗性扰动产生鲁棒性，即使达到了较高的准确率。
Feb, 2015
本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。
Jul, 2019