Sep, 2023

对抗性攻击如何干扰表面稳定准确的分类器

HTML
PDF
TL;DR通过对高维度输入数据的实践系统进行观察，我们展示了对于那些容易构建的对抗性攻击及其对大多数模型的威胁性，以及随机扰动的鲁棒性同时易受影响的基本特性，证实了这一现象。然而，令人惊讶的是，即使对于分类器决策边界与训练和测试数据之间只有很小的边距，也很难通过随机取样的扰动来检测到对抗性示例，因此需要更严格的对抗性训练。
发现论文，激发创造
  • 分类器对于对抗扰动的鲁棒性分析

    本论文分析了深层网络的一个有趣现象，即它们对于对抗性扰动的不稳定性，并提出了一个分析分类器鲁棒性的理论框架，并且为对抗性扰动的鲁棒性建立了一个上限。具体而言，我们建立了分类器对于对抗性扰动的鲁棒性的一个通用上限并用一些线性和二次分类器的例子说明了所获得的上限。我们的结果表明，在涉及小区分能力的任务中，所有选定的分类器将不会对于对抗性扰动产生鲁棒性，即使达到了较高的准确率。

    Feb, 2015

  • 任何分类器的对抗性易受攻击性

    本文研究了对抗扰动现象，并推导了任何分类函数的鲁棒性的基本上界，以及证明了存在跨不同分类器传递的具有小风险的对抗扰动。研究显示了生成模型的关键属性，如平滑性和潜在空间的维度，并提供了信息量大的鲁棒性基线。

    Feb, 2018

  • 对抗样本是否不可避免？

    本文从理论研究角度分析识别器的易受攻击性，识别了对抗例子的的根本限制。通过实验探讨理论在现实世界的问题中的应用以及图片复杂性对分类器抗对抗性的限制。

    Sep, 2018

  • 统计分类中的对抗学习: 对抗攻击防御综述

    该论文对敌对学习进行了现代综述，重点关注了对统计分类器攻击的防御，并对最近关于测试时间逃避，数据污染和反向工程攻击以及对策进行了综述，最后提出了一些未解决问题和未来工作方向。

    Apr, 2019

  • 对抗训练分类准确率的精确统计分析

    本文研究了针对二分类问题且数据按两个具有各向异性协方差矩阵的高斯混合分布产生的情况。在这个问题上，我们推导了一种具有极小-极大策略的经过对抗训练的模型在标准和鲁棒准确性方面的精确表现。

    Oct, 2020

  • 探索健壮神经网络的误分类以增强对抗攻击

    针对当前神经网络抵御对抗攻击的能力较弱的情况，提出了一种新的损失函数，从而提高了19种不同状态下的神经网络的抗攻击能力。同时发现目前不良攻击行为只能诱发少量不同类别的误分类，过于自信或不自信都会影响对模型鲁棒性的准确评估。

    May, 2021

  • 对抗性训练中类别稳健性的分析和应用

    本文研究了对抗训练中的类别鲁棒性问题，提出了一种基于温度的PGD攻击方法，并对训练和推断阶段进行了改进，以降低类别鲁棒性差异。实验结果表明，该方法可以取得更高的攻击成功率。

    May, 2021

  • 攻击对抗性攻击作为一种防御

    通过对敌对学习及攻击的深入探究，我们发现在敌对性训练的模型中，用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测，为此我们提出了一种有效的防御方法，是通过制造更加有效的防御扰动方法，利用敌对训练降低了地面真实的局部Lipschitzness，同时攻击所有类别，将误导的预测转换为正确的预测，这种方法在经验实验证明有效。

    Jun, 2021

  • 调查和揭示卷积神经网络对对抗扰动的特征级漏洞

    通过对深度学习模型的不同层进行敌对性扰动攻击验证，研究表明浅层的通道组合对模型的干扰较大，在不同攻击类型中具有共享的易受攻击通道组合，而不同攻击对隐藏表示的影响存在差异且与卷积核大小呈正相关，以此为基础为未来应用开发高效的应对性防御机制奠定技术基础。

    May, 2024

  • 宽双层网络可以从对抗扰动中学习

    本研究解决了对抗样本为何能够欺骗分类器以及跨模型转移的问题，提出了一种理论解释，认为对抗扰动蕴含了足够的类别特征，使得宽双层网络可以有效泛化。此外，研究发现，基于错误标签的对抗样本训练的分类器，其预测结果与基于正确标签的干净样本训练的分类器一致。这一发现为对抗学习提供了更坚实的理论基础。

    Oct, 2024