ICLROct, 2016

基于半监督知识迁移的深度学习私有训练数据共享

PDF
TL;DR本研究提出了一种称为私有教师集成（PATE）的方法，通过多个使用不同数据集训练的模型进行加密学习，从而实现对模型训练数据的隐私保护，达到最新的隐私 / 效用平衡，且适用于包括非凸模型在内的任何模型。
machine learningprivacyteacher-student modeldifferential privacysemi-supervised learning
发现论文，激发创造
  • 使用 PATE 进行可扩展私有学习

    本文介绍 Private Aggregation of Teacher Ensembles (PATE) 这种利用集合的 “教师” 模型来构建 “学生” 隐私机器学习模型的方法，并提出一些新的机制来更好地实现差分隐私，在大规模的数据集上进行了检验。

    Feb, 2018

  • 私有集成模型对公正性的影响

    该研究探讨了使用 “PATE” 算法是否会导致不公平，证明了它可能会导致个体组之间的准确性差异，分析了导致这些不成比例影响的算法和数据属性以及为缓解这些影响提供了建议。

    May, 2023

  • 热 PATE：用于多样任务的私密聚合分布

    私有教师集成的 PATE（The Private Aggregation of Teacher Ensembles）框架是一种多用途的隐私保护机器学习方法，通过训练教师模型来聚合标记新的学生模型的训练样例。传统的 PATE 主要应用于分类类任务，但是我们提出的 hot PATE 则专为多样化场景设计，通过维持隐私和响应的多样性来实现知识迁移。我们通过分析和实证研究表明，hot PATE 在隐私 - 效用权衡方面与基线 “cold” PATE 相当甚至在多样化场景下表现显著优越。

    Dec, 2023

  • G-PATE：基于教师鉴别器私有聚合的可扩展差分隐私数据生成器

    本文提出了一种新的基于 PATE 框架的隐私保护数据生成模型（G-PATE），它利用生成对抗网络生成数据，并结合隐私聚合机制以确保强大的隐私保证，相对于现有方法，G-PATE 显著提高了隐私预算的使用效率。

    Jun, 2019

  • SF-PATE: 可扩展、公平且私密的教师集成聚合

    本文旨在研究一种隐私保护和公平的模型，该模型允许采用现有的公平模型，保护个人信息的隐私同时学习非歧视性预测器。实验证明该模型具有可扩展性、准确性和公正性。此外，该文章是第一个允许对非常大的神经网络训练私人和公平模型的提议。

    Apr, 2022

  • 量子隐私聚合技术 (Quantum Privacy Aggregation of Teacher Ensembles, QPATE) 用于保护隐私的量子机器学习

    该研究是首次将 PATE 技术应用于量子神经网络集合，为量子机器学习模型提供隐私保护的新方法。

    Jan, 2024

  • PATE-TripleGAN：采用高斯差分隐私的隐私保护图像合成

    通过引入分类器对未标记数据进行预分类并建立三方极小极大博弈，减少对标记数据的依赖性，PATE-TripleGAN 隐私保护训练框架结合 PATE 和 DPSGD 算法，使模型更有效地保留梯度信息，确保隐私保护，并提高模型的效用。

    Apr, 2024

  • 隐私保护预测

    探讨在分类和回归等多种模型中，为实现个体预测隐私保护所需的成本，以及通过训练多个模型并使用标准的聚合技术来预测，以降低聚合步骤引入的开销，并建立所有不同隐私预测算法的强广义保证，从而研究机器学习中差分隐私的最优样本调整量。

    Mar, 2018

  • 多源私有数据上的高效深度学习

    Myelin 是一种深度学习框架，它结合了安全和隐私保护原则，使用可信硬件区域和差分隐私等技术以实现完全私密的机器学习模型训练。

    Jul, 2018

  • 利用梯度衍生的度量对不同 ially private 训练中的数据选择和估值进行优化

    研究了如何在严格保护隐私的情况下，利用梯度信息来选择有利于模型训练的数据，解决在协同训练深度学习模型中，难以区分出有用数据点的问题。

    May, 2023