对抗样本的可避免性：数据集中度在对抗鲁棒性中的作用

Sep, 2023

对抗样本的可避免性：数据集中度在对抗鲁棒性中的作用

Adversarial Examples Might be Avoidable: The Role of Data Concentration in Adversarial Robustness

Ambar Pal, Jeremias Sulam, René Vidal

TL;DR现代机器学习分类器对于对抗性样本的易受攻击性已经引起了理论结果的关注，这些结果可能过于一般化以至于不适用于自然数据分布。本研究在理论上证明了数据分布的一个关键特性 —— 对输入空间的小体积子集的集中程度 —— 决定了是否存在健壮的分类器，并进一步证明，对于集中在低维线性子空间的联合上的数据分布，利用数据结构自然地导致享有良好健壮性保证的分类器，改进了某些方案的可证明认证方法。

Abstract

The susceptibility of modern machine learning classifiers to adversarial examples has motivated theoretical results suggesting that these might be unavoidable. However, these results can be too general to be applicable to natural data distributions. Indeed, humans are quite robust for

adversarial examples machine learning classifiers data distribution robust classifier data structure

发现论文，激发创造

对抗性样本的（不）可避免性

该研究提出了一个确定深度学习模型标签更改是否合理的框架，并且定义了一个自适应的鲁棒性损失，使用导出的经验公式，开发了相应的数据增强框架和评估方法，证明了其对确定性标签下的一阶最近邻分类的维持一致性，并提供了实证评估结果。

Jun, 2021

对抗样本是噪声下测试误差的自然结果

该研究提供了实证和理论证据表明对抗鲁棒性和图像损坏鲁棒性研究项目之间存在紧密联系，从而建议未来的对抗性防御应该考虑评估它们的方法对分布转移的鲁棒性。

Jan, 2019

来自计算限制的对抗性示例

高维度分类器为何易受到 “对抗性” 扰动？本文中将阐述这种现象可能不是由于信息论的限制，而是由于计算约束所引起的。同时探讨了分类任务的一种特殊情况，即在高维空间中对于对抗扰动较大的学习是容易的，但是具有计算难度的。这种例子带来了对于经典学习和鲁棒性学习之间的计算复杂度的差异的新见解，并建议这种现象可能是学习算法计算能力所限制的必然副产品。

May, 2018

稳健学习中的集中度诅咒：由测度的集中度引发的逃避和毒化攻击

通过理论研究，发现集中性度量空间中具有初步相同的错误的分类器固有容易受到对手干扰，提出了新的污染攻击方法。

Sep, 2018

对抗样本的有趣特性

论文研究了神经网络模型的不确定性对于对抗样本的产生具有决定性作用，与体系结构、数据集和训练协议无关，表现为对抗误差具有与对抗扰动大小呈幂律的普适性，通过减小预测熵来提高对抗鲁棒性，在 CIFAR10 上使用神经架构搜索找到更鲁棒的架构。

Nov, 2017

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

对抗鲁棒学习理论基础

本文提出了一种学习算法，旨在解决对抗性示例对机器学习模型的攻击，并尝试通过设计新的算法和理论分析来提高其鲁棒性和性能。