Dec, 2023

SODA：保护设备内机器学习模型中的专有信息

PDF
TL;DR部署在设备上的机器学习模型可能泄露服务提供者的专有信息，我们提出了一个名为 SODA 的端到端框架，用于在边缘设备上执行、提供服务并防御恶意使用。实验结果表明，SODA 可以在少于 50 次查询中以最小的服务性能、延迟和存储影响下，以 89% 的准确率检测恶意使用。
low-end hardwaremachine learning-based servicesml modelson-deviceadversarial usage
发现论文，激发创造
  • 通过边缘 / 终端设备的侧信道攻击精确提取深度学习模型

    深度学习模型的保护对于公司至关重要，我们的研究揭示了边缘设备上的侧信道攻击可以获取模型信息，如模型架构和图像尺寸，在模型提取攻击中起到重要作用。

    Mar, 2024

  • 模型之外：Android 应用中的深度学习模型数据预处理攻击

    本文介绍对真实世界的基于数据处理的深度学习应用攻击。结果表明，81.56％的应用程序可以成功攻击，这凸显了了解并采取保护数据处理方面的安全措施在设备上的深度学习模型的重要性。

    May, 2023

  • 隐私保护的设备上智能训练服务：概念、架构方案和开放问题

    使用设备上的智能开启了在终端设备上运行人工智能应用程序的可能性，提供实时和定制化的人工智能服务，无需依赖远程服务器。然而，由于用户数据的分散和隐私敏感性以及网络连接、计算效率等终端方面的限制，对于在设备上部署进行模型训练面临着重大挑战。为了克服这些挑战，我们提出了隐私保护的作为服务的训练（PTaaS），这是一种新颖的服务计算范式，为终端设备提供隐私友好、定制化的人工智能模型训练。PTaaS 将核心训练过程外包给远程且强大的云或边缘服务器，根据上传的匿名查询高效地开发定制的设备上模型，确保数据隐私并减轻个体设备的计算负载。我们探讨了 PTaaS 的定义、目标和设计原则，以及支持该范式的新兴技术。还介绍了 PTaaS 的架构方案，并提出了一系列未解决的问题，为 PTaaS 领域的未来研究方向做铺垫。

    Apr, 2024

  • 在网络边缘提取设备上的智能

    本文讨论了如何使用雾计算从分散在无线连接设备上的用户产生的私有数据中提炼高质量的设备端机器学习模型。作者提出了一种名为 Fog ML（FML）的通信高效、隐私保护的分布式机器学习框架，通过交换模型参数、模型输出和代理数据来训练设备端机器学习模型，并且提出了解决特定问题的高级 FML 框架。作者认为，雾计算的全部潜能可以通过协同设计通信和分布式机器学习操作来实现，同时考虑异构硬件规格、数据特征和用户需求。

    Aug, 2019

  • 关于机器学习模型盗窃及其防御的综述：我知道去年你训练过什么

    MLaaS 服务的 “模型窃取” 攻击威胁了提供商的知识产权，本文通过对该领域进行全面系统化的分类和比较，探索了相应的防御技术，并提出了攻击和防御策略的分类法和指南并分析哪些防御策略被当前攻击策略削弱

    Jun, 2022

  • 设备端机器学习：算法与学习理论视角

    本篇论文对设备上的机器学习进行了全面的调查和分类，将 On-device Learning 问题重新表述为资源受限的学习，如何在设备资源有限的情况下进行模型训练是未来需要关注的重点。

    Nov, 2019

  • 边缘设备的分布式威胁情报：基于大型语言模型的方法

    通过将轻量级机器学习模型部署到边缘设备上，实时分析本地数据流，如网络流量和系统日志，分发计算任务到边缘服务器提高响应性，提供更好的威胁检测和缓解措施，提高网络边缘的安全性。

    May, 2024

  • 通过预测 API 窃取机器学习模型

    本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

    Sep, 2016

  • 通过利用公共数据提取深度神经网络的框架

    使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

    May, 2019

  • 一个混合深度学习架构用于隐私保护移动分析

    本篇论文提出了一种用于合作、隐私保护分析的深度神经网络混合方法，使用边缘处理的思想，在保持效益的同时，有效减少了不必要、潜在敏感信息的级别。利用 Siamese 微调技术，可以确保用户设备只带有主任务所需的必要信息，并防止数据的二次推断。

    Mar, 2017