对输入数据分布的敏感性对抗鲁棒性

ICLRFeb, 2019

对输入数据分布的敏感性对抗鲁棒性

On the Sensitivity of Adversarial Robustness to Input Data Distributions

Gavin Weiguang Ding, Kry Yik Chau Lui, Xiaomeng Jin, Luyu Wang, Ruitong Huang

TL;DR在这篇论文中，我们发现通过在输入数据分布上进行语义保持的变换可以导致 Robust accuracy 的大幅度变化，而 clean accuracy 却没有变化，这表明输入数据分布可以影响神经网络的 Adversarial robustness。

Abstract

neural networks are vulnerable to small adversarial perturbations. Existing literature largely focused on understanding and mitigating the vulnerability of learned models. In this paper, we demonstrate an intrigu

neural networks adversarial perturbations robust training method input data distribution adversarial robustness

发现论文，激发创造

对抗性攻击如何干扰表面稳定准确的分类器

通过对高维度输入数据的实践系统进行观察，我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性，以及随机扰动的鲁棒性同时易受影响的基本特性，证实了这一现象。然而，令人惊讶的是，即使对于分类器决策边界与训练和测试数据之间只有很小的边距，也很难通过随机取样的扰动来检测到对抗性示例，因此需要更严格的对抗性训练。

Sep, 2023

对于分布转移下的对抗鲁棒性的通用性

本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

Sep, 2022

对抗训练下类人行为的扩展研究

本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练，以及了解到神经网络与人类理解不同的处理方式，更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释，从频率角度分析了其效果。

Mar, 2023

对抗训练分类准确率的精确统计分析

本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上，我们推导了一种具有极小 - 极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。

Oct, 2020

准确性和鲁棒性是否相关？

通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

Oct, 2016

在 MNIST 上开发第一个具有对抗鲁棒性的神经网络模型

提出了一种使用单独的学习类条件数据分布来执行分析合成的新型鲁棒性分类模型，其在 MNIST 数据集上对 L0，L2 和 L 无穷小扰动都具备最先进的鲁棒性，攻击结果在正常类和对抗类之间呈现明显的感知边界。

May, 2018

稳健性与公平性可能相互矛盾：基于类别准确性的实证研究

本文通过经验研究，在对抗训练的模型中发现了分类的精度和稳健性存在类间差异，包括在通常的训练模型中也存在差异。同时，本文还探讨了解决这种类间差异的可能技术和方法。

Oct, 2020

过度不变性导致对抗性漏洞

深度神经网络对任务无关的改变过于敏感，对任务相关的改变过于不敏感，导致广泛的输入空间易受到对抗攻击，传统的交叉熵损失函数存在局限性，本文提出了基于信息论分析的目标函数以克服这些问题。

Nov, 2018

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

对抗性样本的（不）可避免性

该研究提出了一个确定深度学习模型标签更改是否合理的框架，并且定义了一个自适应的鲁棒性损失，使用导出的经验公式，开发了相应的数据增强框架和评估方法，证明了其对确定性标签下的一阶最近邻分类的维持一致性，并提供了实证评估结果。

Jun, 2021