针对隐藏状态威胁模型中 DP-SGD 的更严格隐私审计

May, 2024

Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model

Tudor Cebere, Aurélien Bellet, Nicolas Papernot

TL;DR通过对隐含状态威胁模型进行审计，本研究验证了通过在每个优化步骤中插入所精心设计的梯度，保证仅发布最终模型并不会增加隐私的结论，同时也在非凸设置中观察到隐私放大的现象，为改进现有隐私上界提供强有力的证据。

Abstract

machine learning models can be trained with formal privacy guarantees via differentially private optimizers such as DP-SGD. In this work,

发现论文，激发创造

该研究通过黑盒模型对 Differentially Private Stochastic Gradient Descent (DP-SGD) 算法进行了近乎严格的审计，通过成员推理攻击经验性地估计了 DP-SGD 的隐私泄漏，并且估计结果接近理论 DP 边界。

May, 2024

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

Sep, 2022

本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

May, 2023

我们使用新的数据污染攻击研究不同 ially Private SGD 的隐私保护是否比其最先进的分析保证更好，并量化实现差异隐私算法提供的隐私保护，以便在分析隐私的工作上实现补充和影响。

Jun, 2020

通过对 DP-SGD 算法进行具体分析，本文提出了一种新的方法，用于评估机器学习模型对特定记录类型的威胁（例如成员和属性推断）的隐私，而无需经过 DP 的间接方式。同时，还提供了一种与数据相关的边界用于对抗属性推论。

Feb, 2024

本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

Jun, 2024

使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

Feb, 2021