Jul, 2023

Pareto-Secure 机器学习（PSML）：指纹识别和保障推断服务系统

PDF
TL;DR模型服务系统中的安全性研究：提出 query-efficient 的指纹算法攻击模型提取，准确率和保真度仅有 1% 的差距，提出加入噪音的防御策略可减少 9.8% 的攻击准确率和 4.8% 的保真度。
model-serving systemssecuritymodel extraction attacksfingerprinting algorithmnoise-based defense mechanism
发现论文，激发创造
  • 通过可转移的对抗样本进行深度神经网络指纹识别

    我们提出了一种基于指纹的深度神经网络分类器方法，用于检测机器学习服务中的模型盗窃攻击，该方法提取一组从源模型中提供的输入，只有代理模型能够在这些输入上与源模型一致地进行分类。

    Dec, 2019

  • SoK: 降低 Fine-tuned 语言模型对成员推断攻击的脆弱性

    自然语言处理模型在最近几年中经历了显著的提升，其上已建立了许多应用。然而，这些应用中许多需要在定制的专有数据集上对通用基础模型进行微调，这些微调数据往往含有个人或敏感信息，增加了隐私风险。本研究首次系统回顾了大型自然语言处理模型在成员推理攻击方面的脆弱性，整理了影响这种攻击脆弱性的各种因素以及不同防御策略的有效性。研究表明，某些训练方法能显著降低隐私风险，其中差分隐私和低秩适配器的组合在保护隐私方面效果最好。

    Mar, 2024

  • 采用对抗指纹识别来量化得分生成模型的样本匿名性

    本文提出了一种通过设计对抗方法搜索解剖指纹（如医疗设备或皮肤艺术）来估计重现可识别训练图像的概率上限的方法，利用学习到的基于分数的模型估计可能用于一对一复制训练样本的分数函数子空间的概率，结果表明，如果模型没有小心训练，则在采样时会复制侵犯隐私的图像。

    Jun, 2023

  • 贝叶斯而非朴素：网站指纹识别防御的安全界限

    本研究利用机器学习分类方法，以最小可达误差为基础，推导了任何 WF 防御的安全限制，并且证明了这种方式可以用于定义其他基于 ML 的攻击的安全限制。

    Feb, 2017

  • 通过预测 API 窃取机器学习模型

    本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

    Sep, 2016

  • 大型语言模型的教学指纹

    大规模语言模型的高昂训练成本使指纹识别模型保护知识产权成为必要，同时确保下游用户和开发者遵守许可条款，本研究提出了一种针对语言模型的指纹识别的试点研究，作为一种非常轻量级的指令调整，以提供模型许可者的身份验证，然而仅在密钥存在时才使语言模型生成特定文本，通过对 11 种常用的语言模型进行测试，结果显示该方法轻巧且不影响模型的正常行为，同时防止了许可者的过度声明，对指纹猜测和参数高效训练具有鲁棒性，并支持与 MIT 许可证类似的多阶段指纹识别。

    Jan, 2024

  • PRADA: DNN 模型盗窃攻击防护

    本文描述了一种新型机器学习模型抽取攻击的方法，并提出了一种名为 PRADA 的检测模型抽取攻击的方法，该方法可以准确检测到之前的模型抽取攻击，且无误报。

    May, 2018

  • 采样攻击：通过重复查询放大成员推断攻击

    该研究关注于机器学习模型中有关成员推断攻击的问题，并提出了一种新的会员推断技术 —— 抽样攻击，进一步研究了两种最近的攻击模型以及针对这些攻击的防御方法，最终发现在预测输出时的输出微扰技术是一种简单易行的隐私保护方法，对预测结果的影响较小。

    Sep, 2020

  • 使用可扩展的指纹技术负责任披露生成模型

    研究人员开发出一种称为指纹技术的机制，该技术旨在检测并追溯深度生成模型的使用，以防止其被用于创建深度伪造和传播虚假信息。

    Dec, 2020

  • 通过利用公共数据提取深度神经网络的框架

    使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

    May, 2019