Oct, 2023

相关噪声在差分隐私学习中明显优于独立噪声

HTML
PDF
TL;DR在研究中，我们表征了任意关联函数的渐进学习效用，并给出了线性回归的精确分析边界以及对于一般凸函数问题的凸优化问题的解。我们通过这些界限展示了关联噪声相对于基本DP-SGD在问题参数（如有效维度和条件数）上的可证明改进。此外，我们的近乎最优关联函数的解析表达，绕开了先前工作中用于优化噪声关联矩阵的半正定程序的立方复杂性。我们通过隐私深度学习实验验证了我们的理论，在计算和内存方面都与之前的工作相匹配或超越。
发现论文，激发创造
  • 归一化层对深度神经网络差分隐私训练的影响

    本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

    Jun, 2020

  • 私有随机非凸优化: 自适应算法和更紧的泛化界

    研究不同ially private (DP)算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了DP RMSProp和DP Adam等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了DP自适应梯度法比标准的DP SGD更具有优势。

    Jun, 2020

  • 凸优化的私有自适应梯度方法

    本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量Stochastic Gradient Descent（SGD）算法和Adagrad算法的私有版本，证明了我们的私有版本的Adagrad优于自适应SGD，而这又优于传统的SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

    Jun, 2021

  • 不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

    本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

    Oct, 2021

  • 差分隐私非凸优化的标准化/裁剪随机梯度下降与扰动

    本文探讨了确保差分隐私的两个算法DP-SGD和DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了DP-NSGD的正则化因子如何控制偏差和噪声的平衡。

    Jun, 2022

  • 随机梯度下降噪声的隐私泄露可能会收敛，即使对于非凸损失函数

    本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

    May, 2023

  • 矩阵机制的隐私放大

    该论文介绍了利用抽样来分析隐私放大的新算法MMCC，该算法在分析相关噪声时表现出了广泛的实用性，并在标准基准测试中显示出了显著的隐私效益提高。

    Oct, 2023

  • 通过 $f$-差分隐私统一增强混合机制的隐私边界

    该研究聚焦于利用f-DP改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于DP-GD的隐私影响。

    Oct, 2023

  • 重尾扰动下的噪声(S)GD的差分隐私

    通过向随机梯度下降算法的迭代中注入重尾噪声，可以实现隐私保护，并且与高斯分布相比，重尾噪声具有相似的差分隐私保证，为一种可行的选择。

    Mar, 2024

  • 去中心化学习中相关噪音的隐私保护能力

    本文提出了Decor，它是一种具有差分隐私保证的分散式 SGD 变体，通过一轮通信中安全地交换随机种子来生成成对抵消的相关高斯噪声，以保护每一轮通信中的本地模型，并在理论上和实践上证明Decor在任意连通图中匹配了中心化差分隐私的最佳隐私-效用折衷，并在SecLDP下实现了所有用户通信的保护，假设每对连接的用户共享一个密钥作为隐藏信息。

    May, 2024