本文提出了一种基于神经过程的黑盒对抗攻击方法(NP-Attack),利用神经过程对图像结构信息进行建模,以提高查询效率,实验结果表明,NP-Attack 能显著减少黑盒情况下的查询次数。
Sep, 2020
该研究介绍了一种利用黑盒攻击实现远程控制机器学习模型的方法,该攻击方式不需要了解模型内部或训练数据。研究表明该黑盒攻击策略可适用于许多机器学习技术,并且能够规避之前发现的防御策略。
Feb, 2016
本文提出了一种名为 “无需输入” 的攻击方法,用于深度神经网络的对抗攻击,该方法不需要进行大量的查询,可以通过任意图像添加可以感知的扰动来生成对抗性图像。该方法通过灰度图像的初始化和局部扰动与平铺技术来显着降低了查询复杂度,并成功击败了 Clarifai 食品检测 API 和百度动物识别 API。
Sep, 2018
本文提出了一种新的方法,利用自然进化策略在黑盒攻击下生成可靠的对抗样本,并通过新的算法在部分信息下进行有针对性的攻击,无需使用梯度,可以使用少量的请求操作,成功地对商业部署的机器学习系统进行了第一次有针对性的攻击。
Dec, 2017
通过使用少量的样本,本研究提出了三种机制进行训练,其中原型重建是最有效的,生成的对抗性样本可成功地转移至各种图像分类和面部验证模型,最终的应用结果显示我们的方法能够显著降低商业名人识别系统的预测准确率近 15.4%。
Dec, 2020
本文提出一种黑盒对抗攻击算法,通过在输入的小区域内查找概率密度分布,不需要访问 DNN 的内部层或权重,实现了成功攻击不同神经网络的目标。此方法表现出色,可用于测试防御技术。结果表明,对抗训练仍然是最佳的防御技术之一。
May, 2019
本文通过定义三种现实世界分类系统的威胁模型(查询限制,部分信息和仅标签),并开发了新的攻击方法,成功的攻击了一个 ImageNet 分类器,并成功的突破了 Google Cloud Vision API 的限制来进行有针对性的黑盒攻击。
Apr, 2018
研究表明,即使没有内部知识,对深度卷积神经网络进行黑盒攻击并制造对抗性样本是可行的,这暴露了深度神经网络的弱点,为设计安全的网络提供了检验。
Dec, 2016
提出了一种新的基于梯度估计的黑盒攻击方法,攻击者可以查询目标模型的类概率,无需使用可转移性。该攻击在 MNIST 和 CIFAR-10 数据集上的攻击成功率均超过 100%,同时成功攻击了 Clarifai 的实时图像分类器和最新防御方法。
深度神经网络被广泛用于各种下游任务,尤其是自动驾驶等安全关键场景,但深度网络常常受到对抗样本的威胁。对抗攻击可以分为白盒攻击和黑盒攻击,前者攻击者知道模型的参数和梯度,后者攻击者只能获取模型的输入和输出。攻击者的目的可以分为有目标攻击和非有目标攻击,黑盒设置是我们实践中会遇到的情况。
Aug, 2023