Apr, 2024

隐私保护的设备上智能训练服务：概念、架构方案和开放问题

PDF
TL;DR使用设备上的智能开启了在终端设备上运行人工智能应用程序的可能性，提供实时和定制化的人工智能服务，无需依赖远程服务器。然而，由于用户数据的分散和隐私敏感性以及网络连接、计算效率等终端方面的限制，对于在设备上部署进行模型训练面临着重大挑战。为了克服这些挑战，我们提出了隐私保护的作为服务的训练（PTaaS），这是一种新颖的服务计算范式，为终端设备提供隐私友好、定制化的人工智能模型训练。PTaaS 将核心训练过程外包给远程且强大的云或边缘服务器，根据上传的匿名查询高效地开发定制的设备上模型，确保数据隐私并减轻个体设备的计算负载。我们探讨了 PTaaS 的定义、目标和设计原则，以及支持该范式的新兴技术。还介绍了 PTaaS 的架构方案，并提出了一系列未解决的问题，为 PTaaS 领域的未来研究方向做铺垫。
on-device intelligenceprivacy-preservingptaascustomized ai model trainingemerging technologies
发现论文，激发创造
  • 一个混合深度学习架构用于隐私保护移动分析

    本篇论文提出了一种用于合作、隐私保护分析的深度神经网络混合方法，使用边缘处理的思想，在保持效益的同时，有效减少了不必要、潜在敏感信息的级别。利用 Siamese 微调技术，可以确保用户设备只带有主任务所需的必要信息，并防止数据的二次推断。

    Mar, 2017

  • 面向中小型环境的本地 AI 即服务

    这篇文章探讨了人工智能作为服务的功能和相应技术栈以及可能的实现，分析了适用于小型和中型用户的开源用户友好技术，允许完全控制数据和技术平台而不依赖任何第三方或供应商锁定。

    Oct, 2022

  • 隐私感知的深度神经网络卸载

    本文提出了一种数据混淆技术，通过将数据混淆后再发送到云端计算节点，以绕过资源约束设备上使用深度神经网络时所面临的困难，并解决了数据隐私泄露的问题。

    May, 2018

  • SODA：保护设备内机器学习模型中的专有信息

    部署在设备上的机器学习模型可能泄露服务提供者的专有信息，我们提出了一个名为 SODA 的端到端框架，用于在边缘设备上执行、提供服务并防御恶意使用。实验结果表明，SODA 可以在少于 50 次查询中以最小的服务性能、延迟和存储影响下，以 89% 的准确率检测恶意使用。

    Dec, 2023

  • 云基 AI 服务的隐私和安全影响研究

    云生态系统中的隐私和安全论文指出，解决机器学习模型引入的风险存在差距，通过调查 AIaaS 领域，提出了一种分类法来全面检查 ML 模型的创作者和消费者所面临的风险及其已知防御措施，为提供方和消费方提供了基础解决方案。

    Jan, 2024

  • 设备端机器学习：算法与学习理论视角

    本篇论文对设备上的机器学习进行了全面的调查和分类，将 On-device Learning 问题重新表述为资源受限的学习，如何在设备资源有限的情况下进行模型训练是未来需要关注的重点。

    Nov, 2019

  • 个性化和私密的点对点机器学习

    本文提出了一种高效的分散式（点对点）和异步算法来解决个性化模型的学习，同时满足强隐私要求，并证明了它的收敛速率。我们展示了如何使算法往常差异保持私密以保护个人数据集的信息披露，并正式分析了效用和隐私之间的权衡。实验结果表明，在非私密约束下，我们的方法大大优于以前的工作，在隐私约束下，我们可以显著改进在独立学习中得到的模型。

    May, 2017

  • 大规模个性化智能

    本文提出一种基于 Personalization Head (PH) 的模型架构和训练 / 推理框架来实现大规模的个性化智能，采用的方法是将 PH 附加到预训练的语言模型中，从而显著减小了整体模型大小和训练成本，实验结果表明这种方法优于零 - shot 基线。

    Mar, 2022

  • 研究 “人工智能即服务” 的偏见和公平问题

    本文提出了 AI as a Service 所存在的问题：由于公平性是具有上下文敏感性的，基于用户自主程度的 AI 服务分类可以导致偏见或在最终用户应用中被认为是有害的。

    Feb, 2023

  • 不仅仅是隐私：提高移动云中私有深度学习的性能

    设计、评估、并实现了一个名为 ARDEN 的基于云的框架，其中敏感信息在移动设备上进行简单数据转换，而资源密集型的训练及复杂的推断则由云数据中心处理，同时采用轻量级的隐私保护机制，以提供强大的隐私保证，并提出一种噪声训练方法以提高云端网络的抗干扰能力，验证结果证明了 ARDEN 的有效性和实用性。

    Sep, 2018