超越标签神谕：窃取机器学习模型的意义是什么？

Oct, 2023

超越标签神谕：窃取机器学习模型的意义是什么？

Beyond Labeling Oracles: What does it mean to steal ML models?

Avital Shafran, Ilia Shumailov, Murat A. Erdogdu, Nicolas Papernot

TL;DR以查询访问方式为前提设计的模型提取攻击旨在通过机器学习即服务提供商所提供的 API 获取已训练模型，该攻击的主要动机在于以比重新训练模型更低的成本获取模型。然而，我们的研究显示，攻击者常常无法节约数据采集和标注成本，并且攻击成功与攻击者的先验知识密切相关。因此，对于预算有限但仍想要开发具有相同能力的模型的攻击者而言，模型提取攻击的实际意义值得商榷。最终，我们提出了一种评估攻击策略的基准方案，明确将先验知识的影响与攻击策略分离。

Abstract

model extraction attacks are designed to steal trained models with only query access, as is often provided through APIs that ml-as-a-service providers offer. ML models are expensive to train, in part because data

model extraction ml-as-a-service data acquisition labeling costs attack policy

发现论文，激发创造

通过预测 API 窃取机器学习模型

本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

Sep, 2016

Sesame Street 上的盗贼！BERT-based API 的模型提取

该研究探讨了自然语言处理中模型提取的问题，结果表明，在具有查询访问权限的情况下，攻击者可以使用任意的打乱语序的字串以及特定启发式方法从模型中提取出相应模型的本地副本，通过使用预先训练好的 NLP 模型，使用转移学习的方法，他们在各种类型的 NLP 任务上展现出了攻击的有效性。而防范措施则徒劳无功。

Oct, 2019

MLaaS 范式中的模型提取警告

该研究提出了一种基于云的提取监视器，通过观察单个和串通的对手用户的查询和响应流来量化模型的提取状态，从而使用信息增益来测量具有不断增加查询数量的用户的模型学习速率，并维护智能查询摘要以在串通存在的情况下测量与输入特征空间覆盖度相关的学习速率，以提醒模型所有者可能存在侵犯攻击。

Nov, 2017

神经网络的高准确度和高保真度提取

本文介绍了模型提取攻击的两种不同目标 —— 准确度和等效性，并介绍了对于直接提取模型权重的功能性提取攻击的扩展，以及在学术数据集和一种使用 10 亿专有图像训练的最先进图像分类器上进行的实验。

Sep, 2019

PRADA: DNN 模型盗窃攻击防护

本文描述了一种新型机器学习模型抽取攻击的方法，并提出了一种名为 PRADA 的检测模型抽取攻击的方法，该方法可以准确检测到之前的模型抽取攻击，且无误报。

May, 2018

关于机器学习模型盗窃及其防御的综述：我知道去年你训练过什么

MLaaS 服务的 “模型窃取” 攻击威胁了提供商的知识产权，本文通过对该领域进行全面系统化的分类和比较，探索了相应的防御技术，并提出了攻击和防御策略的分类法和指南并分析哪些防御策略被当前攻击策略削弱

Jun, 2022

目标检测情境下的零数据模型提取攻击

通过生成器人工策划的查询，对于第一次扩展到用于预测物体检测中的边界框坐标的回归问题的黑盒子攻击，提出了一个无数据模型提取技术，发现定义损失函数和使用新型生成器设置是提取目标模型的关键。所提出的模型提取方法通过合理的查询取得了显著的结果，该物体检测漏洞的发现将有助于未来保护这类模型的前景。

Aug, 2023

主动学习与模型提取之间的关系探索

本文介绍了机器学习作为服务（MLaaS）的流行，及其可能带来的隐私问题。作者对模型提取和相关的攻防策略进行了探讨，并探究了主动学习和模型提取之间的联系。

Nov, 2018

复杂 DNN 模型的提取：真正的威胁还是鬼话？

本文研究机器学习模型的保护问题，重点探讨了模型抽取攻击的威胁性，并提出一种基于区分恶意和良性查询的防御方法

Oct, 2019

通过利用公共数据提取深度神经网络的框架

使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

May, 2019