未知扰动集下的对抗性鲁棒学习

Feb, 2021

Adversarially Robust Learning with Unknown Perturbation Sets

Omar Montasser, Steve Hanneke, Nathan Srebro

TL;DR研究在未知扰动集合情况下，通过与攻击者的交互或访问攻击预测器来学习对抗性示例下的鲁棒性预测器问题，并考虑不同交互模型，对预测器假设类的 VC 和 Littlestone 维度进行样本复杂度上界，以及所需交互或成功攻击次数的上下界，无需对扰动集合进行任何假设。

Abstract

We study the problem of learning predictors that are robust to adversarial examples with respect to an unknown perturbation set, relying instead on interaction with an adversarial attacker or access to attack oracles, examining different models for such interactions. We obtain upper bounds on the sample complexity and upper and lower bounds on the number of

adversarial examples predictor learning interaction models sample complexity hypothesis class

发现论文，激发创造

黑盒认证与对抗扰动下的学习

该研究从学习者和第三方认证者的角度正式研究了分类问题，并考虑了半监督学习框架下 VC - 类的适当学习的可能性和不可能性结果。该研究还探讨了黑盒认证在有限查询预算下的黑盒对手视角，提出了一些预测器和扰动类别的分析，并证明了具有多项式查询复杂性的对手的存在可以暗示存在样本高效稳健的学习者。

Jun, 2020

抗逃逸攻击的强健学习中的样本复杂度

从学习理论的角度研究鲁棒学习的可行性，考虑样本复杂性，研究了鲁棒学习在拥有随机样本、满足 Lipschitz 条件的数据分布和更强学习能力的情况下的对抗性攻击的脆弱性，提出了基于经验风险最小化的鲁棒算法，并给出了查询复杂性的上下界。

Aug, 2023

对抗性样本的（不）可避免性

该研究提出了一个确定深度学习模型标签更改是否合理的框架，并且定义了一个自适应的鲁棒性损失，使用导出的经验公式，开发了相应的数据增强框架和评估方法，证明了其对确定性标签下的一阶最近邻分类的维持一致性，并提供了实证评估结果。

Jun, 2021

分类器对于对抗扰动的鲁棒性分析

本论文分析了深层网络的一个有趣现象，即它们对于对抗性扰动的不稳定性，并提出了一个分析分类器鲁棒性的理论框架，并且为对抗性扰动的鲁棒性建立了一个上限。具体而言，我们建立了分类器对于对抗性扰动的鲁棒性的一个通用上限并用一些线性和二次分类器的例子说明了所获得的上限。我们的结果表明，在涉及小区分能力的任务中，所有选定的分类器将不会对于对抗性扰动产生鲁棒性，即使达到了较高的准确率。

Feb, 2015

玩转通用对抗扰动游戏

构建针对普遍对抗性扰动所鲁棒的分类器的零和博弈训练方法，可在多个图像分类数据集上保证分类器的鲁棒性和多用途性。

Sep, 2018

任何分类器的对抗性易受攻击性

本文研究了对抗扰动现象，并推导了任何分类函数的鲁棒性的基本上界，以及证明了存在跨不同分类器传递的具有小风险的对抗扰动。研究显示了生成模型的关键属性，如平滑性和潜在空间的维度，并提供了信息量大的鲁棒性基线。

Feb, 2018

对抗鲁棒学习理论基础

本文提出了一种学习算法，旨在解决对抗性示例对机器学习模型的攻击，并尝试通过设计新的算法和理论分析来提高其鲁棒性和性能。

Jun, 2023

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

超越扰动：使用任意敌对测试示例学习保证

介绍了一种基于跨学科学习和选择性分类器的学习算法，该算法可以适用于没有标签的测试集，同时保证了学习的分类器在测试集上的误差率和拒绝率。

Jul, 2020

多扰动下的对抗训练和鲁棒性

针对对抗样本的防御，如对抗训练，通常针对单个干扰类型（例如小的 l∞- 噪声），对于其它类型的干扰，这些防御没有保障，甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因，并训练同时对多种扰动类型具有鲁棒性的模型。

Apr, 2019