Feb, 2024

DP-SGD 对记录级推断的闭式界限

PDF
TL;DR通过对 DP-SGD 算法进行具体分析，本文提出了一种新的方法，用于评估机器学习模型对特定记录类型的威胁（例如成员和属性推断）的隐私，而无需经过 DP 的间接方式。同时，还提供了一种与数据相关的边界用于对抗属性推论。
发现论文，激发创造
  • 近似最紧密的黑盒审计差分隐私机器学习

    该研究通过黑盒模型对 Differentially Private Stochastic Gradient Descent (DP-SGD) 算法进行了近乎严格的审计，通过成员推理攻击经验性地估计了 DP-SGD 的隐私泄漏，并且估计结果接近理论 DP 边界。

    May, 2024

  • 自适应采样高斯机制的最优成员推断界限

    该论文通过利用差分隐私（DP）进行模型训练，探索模型曾经训练过的数据样本是否存在于模型中。该方法提出了具有实际强度的适用于广泛使用的高斯机制，并提供了一种新的关于弱隐私保护下成员推断攻击的理论界的计算方法。作者在 CIFAR10 数据集上的实验表明，该方法具有领先于最佳的成员推断界。

    Apr, 2022

  • 对抗实例化：差分隐私机器学习的下界

    本文针对 DP-SGD，即差分隐私下的随机梯度下降算法，采用对手模型来探究不同的对手能力对于隐私分析的影响，并计算了隐私保护的下限。实验结果表明，现实情况下的对手能力限制显著影响了隐私的泄露程度，这说明已有理论上的隐私上限过于保守。

    Jan, 2021

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 针对隐藏状态威胁模型中 DP-SGD 的更严格隐私审计

    通过对隐含状态威胁模型进行审计，本研究验证了通过在每个优化步骤中插入所精心设计的梯度，保证仅发布最终模型并不会增加隐私的结论，同时也在非凸设置中观察到隐私放大的现象，为改进现有隐私上界提供强有力的证据。

    May, 2024

  • 通过有界支撑的高斯机制进行隐私放大

    通过对有界支持边界的高斯机制的简单修改，我们可以在依赖数据的隐私会计中增强隐私保障，同时不对模型效用产生负面影响。

    Mar, 2024

  • 通过 $f$- 差分隐私统一增强混合机制的隐私边界

    该研究聚焦于利用 f-DP 改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于 DP-GD 的隐私影响。

    Oct, 2023

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 大 Epsilon 下的差分隐私如何抵御实际成员推理攻击？

    为了解决差分隐私机制中存在的理论与实践的差距，并理解大隐私参数如何防止实际的成员隐私攻击，本文引入了一种新的隐私概念，即实际成员隐私，并定量分析了指数机制和高斯机制的实际成员隐私参数。研究结果表明，较大的差分隐私参数往往对应较小的实际成员隐私参数，从而在实际成员隐私攻击方面提供了强大的隐私保护。基于这些发现，为从业者在选择差分隐私参数方面提供了有原则的指导。

    Feb, 2024

  • 贝叶斯容量作为联邦学习中重构攻击的度量

    在这篇论文中，我们利用信息论量化信息流的框架，形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果，证明了这一指标在衡量机制对抗重建威胁方面的有效性。

    Jun, 2024