现实有多真实？一种无限制对抗样本的人类评估框架

AAAIApr, 2024

现实有多真实？一种无限制对抗样本的人类评估框架

How Real Is Real? A Human Evaluation Framework for Unrestricted Adversarial Examples

Dren Fazlija, Arkadij Orlov, Johanna Schrader, Monty-Maximilian Zühlke, Michael Rohs...

TL;DR通过对图像领域的方法进行调查，我们注意到对所提议的图像修改进行人类评估的需求。基于现有的图像生成质量人类评估框架，我们提出了 SCOOTER - 一种用于无限制图像攻击的评估框架。它为研究人员提供了进行具有统计意义的人类实验的指南，标准化问题以及可直接使用的实现。我们提出了一种框架，允许研究人员分析他们的无限制攻击是否真正不可察觉。

Abstract

With an ever-increasing reliance on machine learning (ML) models in the real world, adversarial examples threaten the safety of AI-based systems such as autonomous vehicles. In the image domain, they represent ma

adversarial examples machine learning models autonomous vehicles unrestricted image-based attacks scooter

发现论文，激发创造

通过语义操纵生成无限制对抗性样本

通过引入语义感知扰动来生成有效和逼真的对抗性样本，该方法在复杂数据集（如 ImageNet 和 MSCOCO）上针对图像分类和图像字幕任务进行了有效应用，且经综合用户研究证明其较其他攻击更为逼真。

Apr, 2019

无限制的对抗样本

本研究引入了一个两人对弈的竞赛，用于评估机器学习系统的安全性和鲁棒性，针对非范数约束的对手进行研究。防御方提交机器学习模型，试图在非对手数据上实现高准确性和覆盖率，并在对抗性输入上没有自信错误。攻击者试图通过寻找任意的明确输入，在其高置信度下将错误标签分配给模型来破坏防御。我们提出了一个简单的明确数据集（“鸟或自行车”）作为本竞赛的一部分。我们希望这个竞赛能够帮助更全面地评估机器学习模型的最坏对抗风险。

Sep, 2018

ImageNet 比赛中的无限制对抗攻击

该研究旨在探索更有效的无限制对抗性攻击算法，以加快在更强的无边界攻击下的模型稳健性的学术研究，并组织了一项比赛来促进此领域的发展。

Oct, 2021

使用生成模型构建不受限制的对抗样本

本文提出了一种新的威胁模型，即无限制敌对样本。通过条件生成模型，利用辅助分类生成对抗网络（AC-GAN）对数据进行分类，搜索潜空间并生成可能是该类别的在传统敌对攻击中被误分类的图像，证明它们确实属于该类别，并表明无限制敌对样本可以绕过传统的敌对训练和认证的攻击防御方法。

May, 2018

生成自然对抗样本

本文提出了一种使用生成敌对网络在语义空间中搜索自然和易读的对抗性样本的框架，以验证黑盒子分类器的鲁棒性，并证明该方法可在图像分类，文本蕴含和机器翻译等广泛应用中有效。

Oct, 2017

URET: 通用鲁棒性评估工具包（用于规避）

我们提出了一个新的框架，可以生成不同输入类型和任务领域的语义正确和功能性对抗性输入，并展示了生成对抗性示例的重要性以便部署缓解技术。

Aug, 2023

基于内容的无限制对抗攻击

该论文提出了一种基于内容的无限制对抗攻击框架，通过利用表示自然图像的低维流形将图像映射到该流形并优化其沿着其对抗方向以实现对抗攻击，实现了基于稳定扩散的对抗内容攻击，可生成具有多种对抗内容的高度可转移的无限制对抗样例。

May, 2023

对抗图像翻译：面部识别系统中的无限对抗样本

利用图像翻译技术生成无限制的对抗样本，欺骗目标脸部识别系统并通过认证防御，实现了攻击成功率约为 90% 和 80% 的结果，同时保持个体的可识别性和感知逼真度。

May, 2019

受限领域内的敌对样本

本文探讨了受限域名（如网络入侵检测）对于制造有针对性的通用扰动向量的脆弱性，并对比了与非受限域名（如图像识别）的表现，结果表明，即使在受限域名下，只要选择五个特定的特征，也能制造成功的对抗性示例，迫使机器学习算法产生错误的分类结果。

Nov, 2020

无限制对抗样本的细粒度合成

本文提出一种新的方法，通过操作图像生成的细节方面生成无限制的对抗性样本，使用最新的生成模型学习样式和随机修改，可用于分类、语义分割和物体检测模型的有目标和非有目标的无限制攻击，并在保证人类可分辨度的前提下，能够成功地规避经认证的防御措施，同时证明在仅使用原有模型结构的情况下，本文的对抗训练方法在增进原有模型在干净图像上表现方面也有很大提升。

Nov, 2019