COLINGAug, 2021

学生超越老师：基于模仿的黑盒自然语言处理 API 攻击

PDF
TL;DR利用无监督域适应和多受害者集成的方法，攻击者可能会在 NLP API 中超越原始黑盒模型，这是对模型提取以前的理解的超越，验证结果表明模仿者可以在转移领域中成功地胜过原始的黑盒模型，这将影响 API 提供者的防御或发布策略。
machine-learning-as-a-serviceimitation attackunsupervised domain adaptationmulti-victim ensemblenlp apis
发现论文，激发创造
  • 通过利用公共数据提取深度神经网络的框架

    使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

    May, 2019

  • 黑盒机器翻译系统的模拟攻击与防御

    研究黑盒 NLP 系统的安全性问题，特别是面向机器翻译系统的模型盗用和对抗攻击是否可行，并提出一种防御方案以降低对抗者的成功攻击率。

    Apr, 2020

  • 通过预测 API 窃取机器学习模型

    本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

    Sep, 2016

  • 机器学习中的可迁移性：从现象到黑盒攻击利用对抗样本

    对机器学习模型的黑盒攻击是可能的，即使它们的结构不同。通过生成对抗性样本，并利用受害者模型标记合成训练集，攻击者可以训练出自己的替代模型，并将对抗性样本转移到受害者模型中实施攻击，该方法可以使用新的技术使攻击过程更加有效率，在 Amazon 和 Google 等公司的商业机器学习分类系统中展示了攻击的有效性。

    May, 2016

  • Knockoff Nets: 模拟黑盒模型功能

    本文针对机器学习黑盒模型，提出了一种攻击方法，通过仅利用输入图像和输出的预测结果，而无需了解模型训练数据、结构或输出语义的情况下，来窃取其功能，并采用一种基于强化学习的方法，提高了查询样本的效率和性能。

    Dec, 2018

  • Sesame Street 上的盗贼！BERT-based API 的模型提取

    该研究探讨了自然语言处理中模型提取的问题，结果表明，在具有查询访问权限的情况下，攻击者可以使用任意的打乱语序的字串以及特定启发式方法从模型中提取出相应模型的本地副本，通过使用预先训练好的 NLP 模型，使用转移学习的方法，他们在各种类型的 NLP 任务上展现出了攻击的有效性。而防范措施则徒劳无功。

    Oct, 2019

  • 机器学习的实用黑盒攻击

    该研究介绍了一种利用黑盒攻击实现远程控制机器学习模型的方法，该攻击方式不需要了解模型内部或训练数据。研究表明该黑盒攻击策略可适用于许多机器学习技术，并且能够规避之前发现的防御策略。

    Feb, 2016

  • 关于机器学习模型盗窃及其防御的综述：我知道去年你训练过什么

    MLaaS 服务的 “模型窃取” 攻击威胁了提供商的知识产权，本文通过对该领域进行全面系统化的分类和比较，探索了相应的防御技术，并提出了攻击和防御策略的分类法和指南并分析哪些防御策略被当前攻击策略削弱

    Jun, 2022

  • 盗贼之军：通过基于集成的样本选择来增强黑盒模型提取

    在这项研究中，我们探索了使用深度学习模型的集成作为我们的盗贼模型的用途。我们将此攻击称为 Army of Thieves（AOT），通过训练具有不同复杂性的多个模型来利用人群的智慧。根据集成模型的共同决策，选择不确定样本进行查询，而最可信的样本直接包含在训练数据中。我们的方法是第一个利用盗贼模型的集成来执行模型提取的方法。与现有最先进方法的基本方法相比，我们的方法至少提高了 3％，并且在 CIFAR-10 数据集上训练的模型的对抗样本可转移性比先前的研究提高了 21％。

    Nov, 2023

  • 模型提取和对抗迁移，您的 BERT 有漏洞了！

    本文主要研究了如何对 BERT 模型进行攻击，提出了对受害模型进行攻击并窃取模型的攻击方法，以及如何抵御此类攻击的两种防御策略。

    Mar, 2021