ICMLJul, 2023

基于查询的黑盒攻击下具有状态的防御的理论权衡

PDF
TL;DR机器学习系统面临着对抗性示例的威胁，尽管在受限的黑盒条件下攻击成功率令人担忧。本研究旨在对有状态防御进行理论描述，提供了攻击检测和假阳性率之间的权衡的上限，并分析了特征提取器 / 底层问题域的性质对此权衡的影响。通过在多个数据集和有状态防御上进行实证评估，支撑了我们的理论发现。
adversarial examplesmachine learning systemsstateful defensesattack detectionfalse positive rates
发现论文，激发创造
  • 黑盒对抗攻击的有状态检测

    本文研究了针对机器学习分类器的对抗样本和逃逸攻击问题，探讨了基于有状态的防御方法，并介绍了新的攻击方式。

    Jul, 2019

  • 反样本：一种无状态策略用于中和黑盒对抗攻击

    本论文提出了一种新颖的防御方法来对抗黑盒攻击，通过针对每个查询使用一个针对攻击者目标优化的原始样本的对抗反案例来对抗黑盒查询，有效地为防御者引入了不对称性，从而既有效地误导了攻击者寻找对抗样本的搜索，又保持了模型对合法输入的准确性，并且适用于多种类型的攻击。

    Mar, 2024

  • 对分类器的查询限制黑盒攻击

    本文研究了针对机器学习分类器的黑盒攻击，其中每个向模型的查询都会给对手带来一些代价或检测风险。我们的重点是将查询次数最小化作为主要目标。具体而言，我们考虑了在最小化查询次数的同时遵守特征修改成本预算的机器学习分类器攻击问题。我们描述了一种利用贝叶斯优化来最小化查询次数的方法，并发现，在特征修改成本预算较低的情况下，与随机策略相比，查询次数可以减少到大约原来的十分之一。

    Dec, 2017

  • 不破碎鸡蛋逃避黑盒分类器

    本文研究了利用黑盒分类器生成对抗性样本的基于决策的规避攻击，认为以查询次数作为攻击代价的度量方法是有缺陷的，因为对流程进行审查的系统检测到的查询是对称成本的。因此需要构建更加对称的攻击来更加有效地攻击安全关键系统。

    Jun, 2023

  • 对抗性 Windows 恶意软件的保留功能性黑盒优化

    本文介绍了一种基于注入良性内容的黑盒攻击方法，通过优化注入负载与规避检测的概率之间的权衡，利用很少的查询和小的负载，我们的黑盒攻击可以绕过两个流行的静态 Windows 恶意软件检测器，并且可以在平均 12 个标准的商业杀软中规避检测。

    Mar, 2020

  • 弥合差距：在基于查询的攻击中实现更好的准确性和鲁棒性权衡

    在缓解基于查询的攻击时，我们的方法能够有效建立鲁棒性和准确性之间的权衡，通过针对低置信度输入激活专用防御措施，从而提供更好的鲁棒性和准确性的权衡，无需训练。

    Dec, 2023

  • 高效率黑盒对抗样本查询（已被取代）

    本文提出了一种新的方法，利用自然进化策略在黑盒攻击下生成可靠的对抗样本，并通过新的算法在部分信息下进行有针对性的攻击，无需使用梯度，可以使用少量的请求操作，成功地对商业部署的机器学习系统进行了第一次有针对性的攻击。

    Dec, 2017

  • 对抗性特征选择抵御逃避攻击

    该研究探讨了特征选择在对抗性环境下的安全性问题，并提出了一种面向对抗攻击的特征选择模型，以提高分类器的安全性。实验结果表明，该模型在垃圾邮件和恶意软件检测等应用场景具有较好的效果。

    May, 2020

  • 具有查询次数和信息限制的黑盒对抗攻击

    本文通过定义三种现实世界分类系统的威胁模型（查询限制，部分信息和仅标签），并开发了新的攻击方法，成功的攻击了一个 ImageNet 分类器，并成功的突破了 Google Cloud Vision API 的限制来进行有针对性的黑盒攻击。

    Apr, 2018

  • 理解随机特征防御对基于查询的对抗攻击的鲁棒性

    通过在中间层的模型中添加随机噪声，我们提出了一种简单轻量级的防御方法，可以有效增强模型对黑盒攻击的鲁棒性，并且对准确率影响较小。

    Oct, 2023