该研究介绍了一种利用黑盒攻击实现远程控制机器学习模型的方法,该攻击方式不需要了解模型内部或训练数据。研究表明该黑盒攻击策略可适用于许多机器学习技术,并且能够规避之前发现的防御策略。
Feb, 2016
本文探究了 DNN 的黑盒攻击方案,使用现有的白盒攻击方法产生的采样样本进行训练替代模型,并提出主动学习策略和多样性准则以优化其表现,实验证明该方法可以将查询数量减少超过 90% 并保持黑盒攻击成功率。
Sep, 2018
研究表明,即使没有内部知识,对深度卷积神经网络进行黑盒攻击并制造对抗性样本是可行的,这暴露了深度神经网络的弱点,为设计安全的网络提供了检验。
Dec, 2016
本文提出了一种基于实践观察的新的防御方法,旨在强化深度神经网络的结构,提高其预测稳定性,从而更难受到针对性攻击,并在多种攻击实验中证明了该方法的有效性,相比其他防御方法具有更好的表现,而且在训练过程中的开销几乎可以忽略不计。
Jul, 2017
本文提出了一种基于神经过程的黑盒对抗攻击方法(NP-Attack),利用神经过程对图像结构信息进行建模,以提高查询效率,实验结果表明,NP-Attack 能显著减少黑盒情况下的查询次数。
Sep, 2020
本文以 Fast Gradient Sign Method 为基础,对面部图像数据集进行扰动,测试不同黑盒攻击算法的鲁棒性,并重点研究修改单个最佳像素或所有像素的攻击方法。研究结果表明,所有像素攻击方法能使分类器置信度平均下降至 84%,且 81.6%的误分类率,但这些图像始终可以被人类识别。该研究可为防御性对抗攻击、自适应噪声降低技术等方面的 DNNs 训练和研究提供宝贵的参考。
Jan, 2020
深度神经网络被广泛用于各种下游任务,尤其是自动驾驶等安全关键场景,但深度网络常常受到对抗样本的威胁。对抗攻击可以分为白盒攻击和黑盒攻击,前者攻击者知道模型的参数和梯度,后者攻击者只能获取模型的输入和输出。攻击者的目的可以分为有目标攻击和非有目标攻击,黑盒设置是我们实践中会遇到的情况。
Aug, 2023
本文提出了一种新的方法,利用自然进化策略在黑盒攻击下生成可靠的对抗样本,并通过新的算法在部分信息下进行有针对性的攻击,无需使用梯度,可以使用少量的请求操作,成功地对商业部署的机器学习系统进行了第一次有针对性的攻击。
Dec, 2017
本文提出一种黑盒对抗攻击算法,通过在输入的小区域内查找概率密度分布,不需要访问 DNN 的内部层或权重,实现了成功攻击不同神经网络的目标。此方法表现出色,可用于测试防御技术。结果表明,对抗训练仍然是最佳的防御技术之一。
May, 2019
该研究使用一个基于样本性质筛选的简化训练方法,在保持分类结果鲁棒性不变的情况下,将医学图像和自动驾驶等领域的深度神经网络训练时间减少到原来的三分之一。
Mar, 2023