MLaaS 范式中的模型提取警告

Nov, 2017

Model Extraction Warning in MLaaS Paradigm

Manish Kesarwani, Bhaskar Mukhoty, Vijay Arya, Sameep Mehta

TL;DR该研究提出了一种基于云的提取监视器，通过观察单个和串通的对手用户的查询和响应流来量化模型的提取状态，从而使用信息增益来测量具有不断增加查询数量的用户的模型学习速率，并维护智能查询摘要以在串通存在的情况下测量与输入特征空间覆盖度相关的学习速率，以提醒模型所有者可能存在侵犯攻击。

Abstract

Cloud vendors are increasingly offering machine learning services as part of their platform and services portfolios. These services enable the deployment of machine learning models on the cloud that are offered on a pay-per-query basis to application developers and end users. However r

machine learning services extraction attacks cloud-based extraction monitor information gain collusion

发现论文，激发创造

主动学习与模型提取之间的关系探索

本文介绍了机器学习作为服务（MLaaS）的流行，及其可能带来的隐私问题。作者对模型提取和相关的攻防策略进行了探讨，并探究了主动学习和模型提取之间的联系。

Nov, 2018

通过利用公共数据提取深度神经网络的框架

使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

May, 2019

通过预测 API 窃取机器学习模型

本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

Sep, 2016

模型提取攻击再审视

模型提取攻击是对机器学习即服务（MLaaS）平台的机器学习模型功能性进行 “窃取” 的主要威胁，本文通过综合多个角度对当前 MLaaS 平台的模型提取漏洞进行了深入研究，揭示了漏洞的演化规律，并提出了一些提高 MLaaS 的安全性的建议。

Dec, 2023

超越标签神谕：窃取机器学习模型的意义是什么？

以查询访问方式为前提设计的模型提取攻击旨在通过机器学习即服务提供商所提供的 API 获取已训练模型，该攻击的主要动机在于以比重新训练模型更低的成本获取模型。然而，我们的研究显示，攻击者常常无法节约数据采集和标注成本，并且攻击成功与攻击者的先验知识密切相关。因此，对于预算有限但仍想要开发具有相同能力的模型的攻击者而言，模型提取攻击的实际意义值得商榷。最终，我们提出了一种评估攻击策略的基准方案，明确将先验知识的影响与攻击策略分离。

Oct, 2023

MEGEX：基于梯度的可解释人工智能无数据模型提取攻击

本文提出了 MEGEX，针对一种梯度可解释人工智能的数据自由模型提取攻击。攻击者使用解释结果来训练生成模型以减少查询次数，可以在不准备输入数据的情况下成功窃取训练好的模型。实验表明，在 SVHN 和 CIFAR-10 数据集上，给定 200 万和 2000 万个查询，我们提出的方法可以重构高准确度的模型，分别是受害模型准确度的 0.97 倍和 0.98 倍，这暗示着模型的可解释性和难以窃取之间存在折衷。

Jul, 2021

关于机器学习模型盗窃及其防御的综述：我知道去年你训练过什么

MLaaS 服务的 “模型窃取” 攻击威胁了提供商的知识产权，本文通过对该领域进行全面系统化的分类和比较，探索了相应的防御技术，并提出了攻击和防御策略的分类法和指南并分析哪些防御策略被当前攻击策略削弱

Jun, 2022

模型提取攻击的有状态检测

本研究提出 VarDetect，一个可用于追踪 API 用户查询分布并检测模型提取攻击的有状态监视器。VarDetect 使用经过改进的变分自编码器学习潜在的查询分布并可有效地检测三种类型的攻击者样本。此外，VarDetect 也能被部署为自动防御机制，进一步保护机器学习模型不被攻击者提取。

Jul, 2021

SAME：对模型提取攻击的样本重构

通过基于样本重构的概念，介绍了一种新颖的防御机制 SAME，能够解决深度学习模型在 MLaaS 环境下的模型提取攻击问题，并且相较于现有解决方案具有更强的防御效果。

Dec, 2023

MeaeQ：高效查询挂载模型抽取攻击

我们提出了 MeaeQ（具有高效查询的模型提取攻击），一种简单而有效的方法来解决自然语言处理（NLP）中的模型提取攻击问题。通过结合 API 服务信息，我们利用零样本序列推理分类器从公共文本语料库中过滤任务相关数据，而不是使用问题特定领域的数据集。此外，我们使用基于聚类的数据减少技术来获取攻击的查询的代表性数据。我们在四个基准数据集上进行的大量实验证明，MeaeQ 在需要更少查询的同时，与受攻击模型具有更高的功能相似性。

Oct, 2023