Nov, 2018

主动学习与模型提取之间的关系探索

PDF
TL;DR本文介绍了机器学习作为服务（MLaaS）的流行，及其可能带来的隐私问题。作者对模型提取和相关的攻防策略进行了探讨，并探究了主动学习和模型提取之间的联系。
machine learningmachine learning-as-a-servicemodel extractionprivacy concernsactive learning
发现论文，激发创造
  • 通过利用公共数据提取深度神经网络的框架

    使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

    May, 2019

  • MLaaS 范式中的模型提取警告

    该研究提出了一种基于云的提取监视器，通过观察单个和串通的对手用户的查询和响应流来量化模型的提取状态，从而使用信息增益来测量具有不断增加查询数量的用户的模型学习速率，并维护智能查询摘要以在串通存在的情况下测量与输入特征空间覆盖度相关的学习速率，以提醒模型所有者可能存在侵犯攻击。

    Nov, 2017

  • 通过预测 API 窃取机器学习模型

    本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

    Sep, 2016

  • 模型提取攻击再审视

    模型提取攻击是对机器学习即服务（MLaaS）平台的机器学习模型功能性进行 “窃取” 的主要威胁，本文通过综合多个角度对当前 MLaaS 平台的模型提取漏洞进行了深入研究，揭示了漏洞的演化规律，并提出了一些提高 MLaaS 的安全性的建议。

    Dec, 2023

  • SAME：对模型提取攻击的样本重构

    通过基于样本重构的概念，介绍了一种新颖的防御机制 SAME，能够解决深度学习模型在 MLaaS 环境下的模型提取攻击问题，并且相较于现有解决方案具有更强的防御效果。

    Dec, 2023

  • 关于机器学习模型盗窃及其防御的综述：我知道去年你训练过什么

    MLaaS 服务的 “模型窃取” 攻击威胁了提供商的知识产权，本文通过对该领域进行全面系统化的分类和比较，探索了相应的防御技术，并提出了攻击和防御策略的分类法和指南并分析哪些防御策略被当前攻击策略削弱

    Jun, 2022

  • 超越标签神谕：窃取机器学习模型的意义是什么？

    以查询访问方式为前提设计的模型提取攻击旨在通过机器学习即服务提供商所提供的 API 获取已训练模型，该攻击的主要动机在于以比重新训练模型更低的成本获取模型。然而，我们的研究显示，攻击者常常无法节约数据采集和标注成本，并且攻击成功与攻击者的先验知识密切相关。因此，对于预算有限但仍想要开发具有相同能力的模型的攻击者而言，模型提取攻击的实际意义值得商榷。最终，我们提出了一种评估攻击策略的基准方案，明确将先验知识的影响与攻击策略分离。

    Oct, 2023

  • MEGEX：基于梯度的可解释人工智能无数据模型提取攻击

    本文提出了 MEGEX，针对一种梯度可解释人工智能的数据自由模型提取攻击。攻击者使用解释结果来训练生成模型以减少查询次数，可以在不准备输入数据的情况下成功窃取训练好的模型。实验表明，在 SVHN 和 CIFAR-10 数据集上，给定 200 万和 2000 万个查询，我们提出的方法可以重构高准确度的模型，分别是受害模型准确度的 0.97 倍和 0.98 倍，这暗示着模型的可解释性和难以窃取之间存在折衷。

    Jul, 2021

  • ML-Leaks: 对机器学习模型进行模型和数据无关的成员资格推断攻击和防御

    本文提出了针对机器学习服务的会员推理攻击的可能性，并放宽了先前攻击假设中的关键假设，说明这些攻击的适用性广泛且代价低廉，从而比先前认为的更具严重性；提出了对抗此类攻击的第一种有效机制，并保持模型的高效性。

    Jun, 2018

  • 机器学习中安全与隐私科学的探索

    ML 在安全性方面存在漏洞，提出威胁模型并对攻击进行分类，探究了模型准确性与抗敌对操作的关系。

    Nov, 2016