Feb, 2020

对抗性样本的贝叶斯最优视角

PDF
TL;DR通过构建现实图像数据集，我们从贝叶斯最优分类器的角度探讨了对抗样本。实验结果表明，即使在这些最优分类器是强健的情况下，使用相同数据集训练的卷积神经网络 (CNNs) 仍然会学习到一个脆弱的分类器，而 RBF SVMs 则一直学习到一个强壮的分类器。
adversarial examplesbayes-optimal classificationcnnsrbf svmsrobustness
发现论文，激发创造
  • 对抗样本是噪声下测试误差的自然结果

    该研究提供了实证和理论证据表明对抗鲁棒性和图像损坏鲁棒性研究项目之间存在紧密联系，从而建议未来的对抗性防御应该考虑评估它们的方法对分布转移的鲁棒性。

    Jan, 2019

  • 对抗样本的有趣特性

    论文研究了神经网络模型的不确定性对于对抗样本的产生具有决定性作用，与体系结构、数据集和训练协议无关，表现为对抗误差具有与对抗扰动大小呈幂律的普适性，通过减小预测熵来提高对抗鲁棒性，在 CIFAR10 上使用神经架构搜索找到更鲁棒的架构。

    Nov, 2017

  • 对抗性样本不是错误，它们是特征

    本研究通过理论模型和实验数据，证明了对抗样本的普遍存在是由于数据分布中存在易碎且难以理解的非鲁棒特征的存在，进而解释了目前算法鲁棒性需要的人类专家知识与数据自身特性之间的不匹配性问题。

    May, 2019

  • 攻击贝叶斯：贝叶斯神经网络的对抗鲁棒性

    贝叶斯神经网络并不具备固有的对抗攻击鲁棒性，而近期的研究表明对抗性样本导致神经网络在各种视觉和语言任务上失效。该研究通过研究三个任务的对抗鲁棒性来验证贝叶斯神经网络的鲁棒性，结果表明即使使用相对不复杂的攻击方法，使用最先进的近似推断方法和哈密頓蒙特卡洛方法训练的贝叶斯神经网络仍然容易受到对抗攻击，并揭示了之前声称贝叶斯神经网络具备固有对抗鲁棒性的研究中存在的概念和实验错误。

    Apr, 2024

  • 对抗性攻击如何干扰表面稳定准确的分类器

    通过对高维度输入数据的实践系统进行观察，我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性，以及随机扰动的鲁棒性同时易受影响的基本特性，证实了这一现象。然而，令人惊讶的是，即使对于分类器决策边界与训练和测试数据之间只有很小的边距，也很难通过随机取样的扰动来检测到对抗性示例，因此需要更严格的对抗性训练。

    Sep, 2023

  • 对抗样本的几何性质

    该研究提出了一种基于几何框架和流形重建方法的方法，以分析对抗样本的高维几何形状，并证明了不同规范的鲁棒性、球形对抗性训练的样本编号和最近邻分类器与基于球面的对抗训练的充分采样条件。

    Nov, 2018

  • 对抗性样本的（不）可避免性

    该研究提出了一个确定深度学习模型标签更改是否合理的框架，并且定义了一个自适应的鲁棒性损失，使用导出的经验公式，开发了相应的数据增强框架和评估方法，证明了其对确定性标签下的一阶最近邻分类的维持一致性，并提供了实证评估结果。

    Jun, 2021

  • 深度网络的简单黑盒对抗扰动

    研究表明，即使没有内部知识，对深度卷积神经网络进行黑盒攻击并制造对抗性样本是可行的，这暴露了深度神经网络的弱点，为设计安全的网络提供了检验。

    Dec, 2016

  • 来自计算限制的对抗性示例

    高维度分类器为何易受到 “对抗性” 扰动？本文中将阐述这种现象可能不是由于信息论的限制，而是由于计算约束所引起的。同时探讨了分类任务的一种特殊情况，即在高维空间中对于对抗扰动较大的学习是容易的，但是具有计算难度的。这种例子带来了对于经典学习和鲁棒性学习之间的计算复杂度的差异的新见解，并建议这种现象可能是学习算法计算能力所限制的必然副产品。

    May, 2018

  • 对抗球体

    研究表明，计算机视觉模型容易受到输入微小对抗扰动攻击，而该现象是由数据流形的高维几何性质引起的，结果表明神经网络的易受小型对抗性扰动攻击是测试误差的逻辑结果。

    Jan, 2018