受限领域内的敌对样本

Nov, 2020

Adversarial Examples in Constrained Domains

Ryan Sheatsley, Nicolas Papernot, Michael Weisman, Gunjan Verma, Patrick McDaniel

TL;DR本文探讨了受限域名（如网络入侵检测）对于制造有针对性的通用扰动向量的脆弱性，并对比了与非受限域名（如图像识别）的表现，结果表明，即使在受限域名下，只要选择五个特定的特征，也能制造成功的对抗性示例，迫使机器学习算法产生错误的分类结果。

Abstract

machine learning algorithms have been shown to be vulnerable to adversarial manipulation through systematic modification of inputs (e.g., adversarial examples) in domains such as image recognition. Under the default threat model, the adversary exploits the unconstrained nature of image

machine learning adversarial examples constrained domains feature saliency network intrusion detection

发现论文，激发创造

领域约束的稳健性

研究论文探讨领域约束如何限制对手的能力以及对手如何适应这些限制来创建现实的（符合约束的）对抗性示例。作者开发了从数据中学习领域约束的技术，并展示了如何将学习到的约束集成到对抗制作流程中。作者在网络入侵和网络钓鱼数据集上评估了该方法的功效，并发现：（1）最先进的制作算法产生的高达 82％的对抗性示例违反领域约束，（2）强制执行约束使模型精度提高了高达 34％。

May, 2021

通过语义操纵生成无限制对抗性样本

通过引入语义感知扰动来生成有效和逼真的对抗性样本，该方法在复杂数据集（如 ImageNet 和 MSCOCO）上针对图像分类和图像字幕任务进行了有效应用，且经综合用户研究证明其较其他攻击更为逼真。

Apr, 2019

对抗扰动的跨域可转移性

本研究首次证明存在领域不变的对抗性攻击，提出了一个用于在不同领域中高度转移的攻击框架，核心是一个可生成网络，具有相对论监督信号，能够实现领域不变的扰动。该方法在白盒和黑盒情况下均创新了欺骗率的最佳性能，并且尽管它是一个无实例特定扰动的函数，但优于传统上更强的实例特定攻击方法。

May, 2019

使用生成模型构建不受限制的对抗样本

本文提出了一种新的威胁模型，即无限制敌对样本。通过条件生成模型，利用辅助分类生成对抗网络（AC-GAN）对数据进行分类，搜索潜空间并生成可能是该类别的在传统敌对攻击中被误分类的图像，证明它们确实属于该类别，并表明无限制敌对样本可以绕过传统的敌对训练和认证的攻击防御方法。

May, 2018

领域知识减轻多标签分类器的对抗攻击

本文提出了一种基于领域知识和逻辑约束的多标签分类方法，可以在不使用攻击知识的情况下有效地检测出对抗样本。

Jun, 2020

现代机器学习中的对抗样本：一次回顾

本文对机器学习模型在视觉领域中面临的对抗性攻击和防御方法进行了广泛探讨，并讨论了不同攻击和防御方法的优点和缺点。旨在提供广泛的领域覆盖和机械进攻和防御机制的直观理解。

Nov, 2019

生成自然对抗样本

本文提出了一种使用生成敌对网络在语义空间中搜索自然和易读的对抗性样本的框架，以验证黑盒子分类器的鲁棒性，并证明该方法可在图像分类，文本蕴含和机器翻译等广泛应用中有效。

Oct, 2017

现实有多真实？一种无限制对抗样本的人类评估框架

通过对图像领域的方法进行调查，我们注意到对所提议的图像修改进行人类评估的需求。基于现有的图像生成质量人类评估框架，我们提出了 SCOOTER - 一种用于无限制图像攻击的评估框架。它为研究人员提供了进行具有统计意义的人类实验的指南，标准化问题以及可直接使用的实现。我们提出了一种框架，允许研究人员分析他们的无限制攻击是否真正不可察觉。

Apr, 2024

URET: 通用鲁棒性评估工具包（用于规避）

我们提出了一个新的框架，可以生成不同输入类型和任务领域的语义正确和功能性对抗性输入，并展示了生成对抗性示例的重要性以便部署缓解技术。

Aug, 2023

深度学习在对抗环境中的局限性

本文介绍了一种基于对深度神经网络输入输出映射的精确理解的算法，用于制造可以轻易被误分类的针对深度神经网络的对抗样本，通过计算不同类型的样本之间的硬度度量对不同的类型的样本抗击抗性进行了评估，并提出了防御针对性攻击的初步方法。

Nov, 2015