Jun, 2021

DP-SGD 与 PATE：哪一个对模型准确度的影响更少？

PDF
TL;DR本文比较了两种应用差分隐私机制（DP-SGD 和 PATE）训练深度学习模型的公平性表现，结果发现虽然 PATE 也存在公平性问题，但相对于 DP-SGD 影响更小。文章给出了一些可行的解决方向以取得更好的公平 - 隐私权衡。
发现论文，激发创造
  • 差分隐私对模型准确性影响不一

    本文研究的 DP-SGD 算法在训练神经网络时，由于梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，使 DP-SGD 算法不适用于存在不平衡类别数据的训练任务。

    May, 2019

  • 差分隐私是否在实践中防止了后门攻击？

    通过实证研究，我们调查了 DP-SGD 和 PATE 在防止后门攻击方面的有效性，并首次检验了 PATE 在文献中的作用。我们的实验揭示了超参数和训练数据集中后门数量对 DP 算法成功的影响。此外，我们提出了 Label-DP 作为 DP-SGD 和 PATE 的更快、更准确的替代方法。我们得出的结论是，尽管 Label-DP 算法通常提供较弱的隐私保护，但准确的超参数调整可以使其在防御后门攻击并保持模型准确性方面更有效。

    Nov, 2023

  • 梯度不对齐导致差异隐私的不平等影响

    本文研究机器学习中隐私性与公平性问题中，隐私增强技术可能会加剧模型中的不公平，导致数据中不同群体的差异性迅速增大；通过研究 DPSGD 不公平根源，本文提出一种新方法，通过防止 DPSGD 中梯度错位来降低不公平。

    Jun, 2022

  • G-PATE：基于教师鉴别器私有聚合的可扩展差分隐私数据生成器

    本文提出了一种新的基于 PATE 框架的隐私保护数据生成模型（G-PATE），它利用生成对抗网络生成数据，并结合隐私聚合机制以确保强大的隐私保证，相对于现有方法，G-PATE 显著提高了隐私预算的使用效率。

    Jun, 2019

  • 探索 DP-SGD 在不同情境下的不公平性

    通过应用 DP-SGD 的标准方法来评估其对多个公平性指标的影响，我们发现，在线性分类和鲁棒深度学习情况下，隐私和公平性之间存在负的对数相关性。

    Feb, 2022

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 消除差异隐私随机梯度下降对模型准确性的不利影响

    本文针对机器学习中的差分隐私引入了『utility-privacy trade-off』，并提出了一种名为 DPSGD-F 的修改版随机梯度下降算法来消除差分隐私对受保护群体的不平等影响，具有『adaptive clipping』的特点。我们的实验证明了群体样本大小和群体剪辑偏差如何影响 DPSGD 中差分隐私的影响，以及 DPSGD-F 中如何采用自适应剪辑来减轻差分隐私造成的不平等影响。

    Mar, 2020

  • 差分隐私下公平概念的实证分析

    选取适用于差分隐私的最佳模型架构是实现在一定隐私预算下使用差分隐私随机梯度下降 (DP-SGD) 获得最佳效用的关键。本文通过使用标准数据集和严格的实验协议，表明选择适用于 DP-SGD 的最佳模型体系结构时，与最大化效用的非隐私基线相比，相关的公平性指标差异跨组会更少或可以忽略不计，这些发现挑战了关于在基于偏见数据集训练的深度学习模型中差分隐私必然加剧不公平性的理解。

    Feb, 2023

  • 采样机制下的个性化 DP-SGD

    基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

    May, 2023

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024