Jul, 2024

非凸复合损失函数中循环采样的差分隐私随机梯度下降的最后迭代的隐私保护

HTML
PDF
TL;DR对于最常用的DP-SGD变体，即通过循环替换方式采样批次、进行梯度裁剪并仅发布最后一个DP-SGD迭代，我们在不假设凸性、平滑性或Lipschitz连续性的损失函数的情况下，建立了新的Rényi差分隐私（RDP）界限，假设DP-SGD的步长相对于损失函数中的拓扑常数较小，且损失函数是弱凸的。此外，当目标函数的弱凸参数趋近于零时，我们的界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，我们提供了一种随着DP-SGD迭代次数的扩展良好的界限。
发现论文，激发创造
  • 具有最佳速率的隐私随机凸优化

    本研究针对随机凸优化问题的不同隐私算法进行了研究,通过分析算法的稳定性以确保泛化,得出了当参数的情况在实践中最为普遍时,隐私SCO的渐近收敛率与非隐私的SCO相同，即都为1/√n.

    Aug, 2019

  • 隐私随机凸优化: 在线性时间的最优收敛率

    本文提出两种新的不同ially private 的方法，实现了凸优化的最优解，使用较少的梯度计算，同时需要对数据有轻度平滑性的假设。

    May, 2020

  • 非欧几里得差分隐私随机凸优化：线性时间内的最优收敛率

    本文系统研究了在不同的normed space下，拥有标准平滑性假设的Differentially private stochastic convex optimization问题，提出了新的算法并证明了其优于之前已知的算法

    Mar, 2021

  • 随机梯度下降噪声的隐私泄露可能会收敛，即使对于非凸损失函数

    本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

    May, 2023

  • 带权重剪枝的DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 用户级差分隐私随机凸优化：具有最优收敛速率的高效算法

    我们研究了具有用户级隐私的差分隐私随机凸优化（DP-SCO），其中每个用户可能拥有多个数据项。我们开发了新算法用于用户级DP-SCO，在多项式时间内获得凸和强凸函数的最优速率，并且在维度上只要求用户数量呈对数增长。此外，我们的算法是第一个在多项式时间内获得非平滑函数最优速率的算法。这些算法基于多遍DP-SGD，结合了一种集中数据的新颖私有均值估计过程，在估计梯度的平均值之前应用了一个异常值移除步骤。

    Nov, 2023

  • 差分隐私的偏移插值

    这篇论文通过建立“迭代的隐私放大”现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

    Mar, 2024

  • 重尾扰动下的噪声(S)GD的差分隐私

    通过向随机梯度下降算法的迭代中注入重尾噪声，可以实现隐私保护，并且与高斯分布相比，重尾噪声具有相似的差分隐私保证，为一种可行的选择。

    Mar, 2024

  • 损失加大: 对于非凸损失的隐藏状态DP-SGD没有隐私放大

    通过构建一个特定的损失函数，我们发现差分隐私随机梯度下降算法的最终迭代结果泄露了与所有迭代序列相同数量的信息，从而证明了当前对于一般损失函数的差分隐私分析是紧密的，因此我们得出结论：对于所有（可能是非凸）损失函数而言，差分隐私随机梯度下降算法无法进行隐私放大。

    Jul, 2024

  • 非凸和平滑情况下带噪声SGD的收敛隐私损失

    本文研究了带噪声SGD算法在非凸非平滑损失下的差分隐私保证，填补了该领域的研究空白。通过充分利用Hölder连续梯度的条件，作者证明了收敛的R'enyi差分隐私界限，并提供了相较于已有成果更优的隐私界限。这项研究进一步展示了隐状态分析在差分隐私中的优势及其应用潜力。

    Oct, 2024