ICMLJun, 2022

批量检测对抗性示例 -- 一种几何方法

PDF
TL;DR本文研究通过引入几何度量法来检测深度学习模型中的对抗样本，并以 MNIST 数据集和两个医学数据集为例，对密度和覆盖度两种几何度量法进行了实证研究，结果表明这两种度量法能够检测到对抗样本并能在机器学习系统中使用来监控可能的对抗性例子或相关病理因素，为进一步研究机器学习系统的安全提供了基础。
deep learningadversarial examplesgeometric metricsdetectingmachine learning systems
发现论文，激发创造
  • 对抗样本的几何性质

    该研究提出了一种基于几何框架和流形重建方法的方法，以分析对抗样本的高维几何形状，并证明了不同规范的鲁棒性、球形对抗性训练的样本编号和最近邻分类器与基于球面的对抗训练的充分采样条件。

    Nov, 2018

  • 基于感知度量的任务通用性对抗攻击

    提出一种基于永续度量的方法，通过创造高度扭曲网络特征空间的攻击来达到高度通用的敌对样本，旨在打破相对有限的目前攻击的限制，并可将其通过多个网络扩展到多个任务。

    Nov, 2018

  • 使用自适应噪声降低在深度网络中检测对抗样本

    该文章提出了一种直接部署到标准深度神经网络模型中的简单方法，通过引入两个经典图像处理技术，标量量化和平滑空间滤波，将图像中的扰动降低到最小，使用图像熵作为度量标准，可以有效地检测出对基于多种攻击技术的先进深度学习模型的 20,000 多个对抗样本，最终的实验结果表明，该检测方法可以取得 96.39％的高整体 F1 评分。

    May, 2017

  • 一种基于几何形态的攻击方法，用于生成自然语言对抗样本

    本文介绍了一种用于生成自然语言对抗性样本的几何灵感攻击方法，该攻击通过迭代逼近深度神经网络（DNNs）的决策边界生成对抗性样本，并实验证明该攻击方法可以快速欺骗自然语言模型，并表明对抗训练可以提高模型对我们的攻击方法的鲁棒性。

    Oct, 2020

  • 面向神经网络的不可察觉且强韧对抗样本攻击

    该研究提出了一种新的对抗样本攻击方法，考虑到人类感知系统并最大化制作的对抗样本的噪声容忍度，实验结果证明了该技术的有效性。

    Jan, 2018

  • 通过鲁棒密度估计进行文本分类中词语对抗样本的检测：基准和基础线

    本文旨在探索检测针对 NLP 模型的对抗攻击的方法，提出基于密度估计的 Competitive Baseline，并提供包括 4 个数据集上 4 种流行攻击方法和 4 种模型在内的数据集，以便进一步研究。

    Mar, 2022

  • 利用对抗梯度方向进行对抗样本检测，战胜攻击者

    提出了一种基于对抗梯度方向的对抗示例检测方法，用于识别特制的输入，以欺骗机器学习分类器，此方法仅应用一个随机扰动对输入示例进行检测，实验表明，相比使用多个扰动的检测方法，该方法在对抗攻击方面表现更好。在多个数据集上的实验表明，该方法相应的 AUC-ROC 值为 97.9％和 98.6％，并且胜过了多种其他顶尖的检测方法。

    Dec, 2020

  • 猜测聪明：有偏采样用于高效黑盒对抗攻击

    本文讨论了黑盒子设置下图像分类的对抗性样本问题，并针对 Boundary Attacks 提出了一种基于偏差抽样的新方法，该方法通过图像频率、区域掩码和代理梯度三种偏差来提高攻击效率，并在 ImageNet 数据集上进行了深入评估。最终表明，这些偏差的结合能够显著提高黑盒攻击的效率，并在对 Google Cloud Vision API、以及强防御模型的攻击中都表现出色。

    Dec, 2018

  • 检测来自伪像的对抗性样本

    本文介绍了一种利用深度学习神经网络中 Bayesian 不确定性估计和密度估计的方法，可以实现对于对抗样本的检测，具有很好的泛化性能，并在标准分类任务上取得了 85-93% 的 ROC-AUC 表现。

    Mar, 2017

  • 采用深度度量学习改进对抗鲁棒性，提高对敏感性与不变性攻击的防御能力

    利用度量学习将对抗正则化框架建模为最优传输问题，可以提高模型对不变扰动和敏感性攻击的防御，从而在对抗样本防御方面具有普遍适用性。

    Nov, 2022