ICLRFeb, 2018

使用 PATE 进行可扩展私有学习

PDF
TL;DR本文介绍 Private Aggregation of Teacher Ensembles (PATE) 这种利用集合的 “教师” 模型来构建 “学生” 隐私机器学习模型的方法，并提出一些新的机制来更好地实现差分隐私，在大规模的数据集上进行了检验。
machine learningprivacypateensemble learningdifferential privacy
发现论文，激发创造
  • 私有集成模型对公正性的影响

    该研究探讨了使用 “PATE” 算法是否会导致不公平，证明了它可能会导致个体组之间的准确性差异，分析了导致这些不成比例影响的算法和数据属性以及为缓解这些影响提供了建议。

    May, 2023

  • 热 PATE：用于多样任务的私密聚合分布

    私有教师集成的 PATE（The Private Aggregation of Teacher Ensembles）框架是一种多用途的隐私保护机器学习方法，通过训练教师模型来聚合标记新的学生模型的训练样例。传统的 PATE 主要应用于分类类任务，但是我们提出的 hot PATE 则专为多样化场景设计，通过维持隐私和响应的多样性来实现知识迁移。我们通过分析和实证研究表明，hot PATE 在隐私 - 效用权衡方面与基线 “cold” PATE 相当甚至在多样化场景下表现显著优越。

    Dec, 2023

  • 基于半监督知识迁移的深度学习私有训练数据共享

    本研究提出了一种称为私有教师集成（PATE）的方法，通过多个使用不同数据集训练的模型进行加密学习，从而实现对模型训练数据的隐私保护，达到最新的隐私 / 效用平衡，且适用于包括非凸模型在内的任何模型。

    Oct, 2016

  • G-PATE：基于教师鉴别器私有聚合的可扩展差分隐私数据生成器

    本文提出了一种新的基于 PATE 框架的隐私保护数据生成模型（G-PATE），它利用生成对抗网络生成数据，并结合隐私聚合机制以确保强大的隐私保证，相对于现有方法，G-PATE 显著提高了隐私预算的使用效率。

    Jun, 2019

  • 量子隐私聚合技术 (Quantum Privacy Aggregation of Teacher Ensembles, QPATE) 用于保护隐私的量子机器学习

    该研究是首次将 PATE 技术应用于量子神经网络集合，为量子机器学习模型提供隐私保护的新方法。

    Jan, 2024

  • SF-PATE: 可扩展、公平且私密的教师集成聚合

    本文旨在研究一种隐私保护和公平的模型，该模型允许采用现有的公平模型，保护个人信息的隐私同时学习非歧视性预测器。实验证明该模型具有可扩展性、准确性和公正性。此外，该文章是第一个允许对非常大的神经网络训练私人和公平模型的提议。

    Apr, 2022

  • PATE-TripleGAN：采用高斯差分隐私的隐私保护图像合成

    通过引入分类器对未标记数据进行预分类并建立三方极小极大博弈，减少对标记数据的依赖性，PATE-TripleGAN 隐私保护训练框架结合 PATE 和 DPSGD 算法，使模型更有效地保留梯度信息，确保隐私保护，并提高模型的效用。

    Apr, 2024

  • PATE-GAN 复制的艰难追求：基准测试、审计、调试

    分析和评估了六种开源的 PATE-GAN 实现，发现实现中存在架构偏差，无法复制原始论文的效用性能；在深度隐私评估中，发现所有实现泄露了比预期更多的隐私，并揭示了 17 个隐私违规和 5 个其他错误。

    Jun, 2024

  • 标签差分隐私的反面：PATE 和 ALIBI

    本研究提出了两种新的隐私保护机制，分别基于 Laplace 机制和 PATE 框架，用标准基准测试表明其有效性；此外，本文也表明其算法隐私保护保障的理论分析与实证评估相结合，才能更好地评价其隐私保护性能。

    Jun, 2021

  • DP-SGD 与 PATE：哪一个对模型准确度的影响更少？

    本文比较了两种应用差分隐私机制（DP-SGD 和 PATE）训练深度学习模型的公平性表现，结果发现虽然 PATE 也存在公平性问题，但相对于 DP-SGD 影响更小。文章给出了一些可行的解决方向以取得更好的公平 - 隐私权衡。

    Jun, 2021