基于数据的黑盒分类器探索性攻击在对抗领域中的应用

Mar, 2017

基于数据的黑盒分类器探索性攻击在对抗领域中的应用

Data Driven Exploratory Attacks on Black Box Classifiers in Adversarial Domains

Tegjyot Singh Sethi, Mehmed Kantardzic

TL;DR本文提出了一种基于数据推动的黑客攻击方法 —— 基于分类模型的欺骗方法，并通过 Google Cloud Prediction 平台进行了实验验证，发现分类器天生易受攻击，并且可以轻松地进行逃避攻击，这为构建安全的机器学习框架提供了启示。

Abstract

While modern day web applications aim to create impact at the civilization level, they have become vulnerable to adversarial activity, where the next cyber-attack can take any shape and can originate from anywher

web applications adversarial activity cybersecurity systems machine learning classification based system

发现论文，激发创造

计算机视觉模型的黑盒对抗攻击综述

该论文介绍了对各种黑盒对抗攻击和防御技术的全面比较研究，旨在提高模型的鲁棒性。

Dec, 2019

黑盒对抗迁移性：一个基于网络安全的经验研究

在网络安全领域中，人工智能的快速发展引起了重大安全关注，深度学习模型在对抗性攻击中的脆弱性是主要问题之一，该研究的关键贡献是在网络攻击检测系统中经验性地测试黑盒对抗转移现象，并验证了任何深度学习模型都极易受到对抗攻击的影响，即使攻击者无法访问目标模型的内部细节，白盒对抗攻击相比黑盒对抗攻击具有更严重的影响。因此，有必要研究和探索对抗性防御技术以增强深度学习模型对对抗攻击的鲁棒性。

Apr, 2024

对敌对攻击和防御的恶意软件分类调查

这项调查研究针对网络安全中恶意软件分类展示了当前对抗性攻击和防御策略的研究，将方法分类为生成模型、基于特征的方法、集成方法和混合策略，并评估了每个领域的优点和缺点，同时讨论了常用的数据集和评估标准，最后提出了开放性研究难题和未来的研究选项。

Dec, 2023

分析对抗样本：一个研究对手知识的框架

对于机器学习模型而言，对抗性样本是指触发误分类的恶意输入。我们发现当进行攻击时，对抗者的知识缺乏研究和形式化，导致攻击研究领域在威胁模型和攻击方法上非常复杂且难以比较。本研究在图像分类领域提供了一个受序理论启发的理论框架来研究对抗者的知识，同时提出了一个受密码学游戏启发的对抗性样本游戏来标准化攻击。通过对最近的图像分类领域攻击进行整理和分类，我们从中总结出攻击者的知识，既验证了关于对抗者知识的现有观点，如受攻击模型信息的重要性，也得出了新的结论，例如白盒和可传递威胁模型的困难程度可能没有之前想象的那么高。

Feb, 2024

有限训练数据下针对黑盒 API 的生成对抗网络攻击

本文研究了机器学习系统 API 接口的安全性，介绍了探索性攻击和生成对抗网络等技术，并提出了一种具有实际意义的方法，通过生成合成数据扩展样本数据来提高模型性能，从而使敌对机器学习更加实用。

Jan, 2019

计算机视觉中对抗攻击综述

深度神经网络被广泛用于各种下游任务，尤其是自动驾驶等安全关键场景，但深度网络常常受到对抗样本的威胁。对抗攻击可以分为白盒攻击和黑盒攻击，前者攻击者知道模型的参数和梯度，后者攻击者只能获取模型的输入和输出。攻击者的目的可以分为有目标攻击和非有目标攻击，黑盒设置是我们实践中会遇到的情况。

Aug, 2023

围攻电网事件原因分析：一种对抗性机器学习方法

本文探讨了针对数据驱动应用中出现的恶意攻击对卷积神经网络（CNN）事件原因分析框架的影响，并通过实时数字模拟器（RTDS）生成的数据分析了不同攻击类型和数据访问级别下攻击的有效性和防御机制。

Nov, 2019

主动学习实现的查询效率高的黑盒攻击

本文探究了 DNN 的黑盒攻击方案，使用现有的白盒攻击方法产生的采样样本进行训练替代模型，并提出主动学习策略和多样性准则以优化其表现，实验证明该方法可以将查询数量减少超过 90% 并保持黑盒攻击成功率。

Sep, 2018

攻击生成器：构建对抗性攻击的系统方法

本篇论文阐述了机器学习领域中的敌对攻击，提出了一种名为 “攻击生成器” 的结构化方法并进行了应用于自动驾驶领域的计算机视觉系统语义分割和目标检测阶段的实践研究，然后针对定义捕获的模块进行了攻击生成，证明了该方法的实用性。

Jun, 2019

自动对抗性发现用于安全分类器

安全分类器和对抗攻击是在线论坛（如社交媒体和聊天机器人）中减少毒性的关键，然而它们仍然容易受到新兴且数量众多的对抗攻击的影响。本文提出了一种自动对抗发现安全分类器的方法，以在以前未见的伤害维度上寻找新的攻击方法，以揭示分类器的新弱点。我们通过两个主要指标来衡量这个任务的进展（1）对抗成功性：攻击是否欺骗了分类器？（2）维度多样性：攻击是否代表了以前未见的伤害类型？通过对 CivilComments 毒性任务中的现有攻击生成方法进行评估，发现它们存在局限性：词汇扰动攻击无法欺骗分类器，而基于提示的 LLM 攻击具有更高的对抗成功性，但缺乏维度多样性。即使是我们最有效的基于提示的方法，仍然只在攻击的以前未见的伤害维度上成功了 5％的时间。自动发现攻击的新的有害维度至关重要，并且在这个新任务上未来研究有巨大的潜力。

Jun, 2024