在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。

Dec, 2023

本文提出了一种算法 Gradient Embedding Perturbation（GEP），针对训练深度学习模型时巨大的可训练参数导致 Differential Privacy（DP）机制失效的问题，通过将个体私有梯度投影到非敏感锚定子空间，并将低维梯度嵌入和小范数残差梯度分别按照隐私预算扰动，以使扰动方差保持小，从而在保持合理隐私保障的同时，实现了高精度的训练（特别是在 CIFAR10 和 SVHN 数据集上）达到了 74.9% 和 95.1% 的测试精度）。

Feb, 2021

本文综述了不同凸且光滑目标函数的梯度下降算法与输出扰动方法，不仅能达到近乎最优的效用，而且也提高了以前的隐私优化算法的运行时间。同时，对于非凸光滑目标函数，还提出了 RRPSGD 算法，并附上了隐私保障的收敛性证明。实验表明，我们的算法在效益和运行时间方面始终优于现有方法。

Mar, 2017

本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长；我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了 ADP 方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括 AdaGrad（Duchi 等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。

Oct, 2021

本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量 Stochastic Gradient Descent（SGD）算法和 Adagrad 算法的私有版本，证明了我们的私有版本的 Adagrad 优于自适应 SGD，而这又优于传统的 SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

Jun, 2021

通过向随机梯度下降算法的迭代中注入重尾噪声，可以实现隐私保护，并且与高斯分布相比，重尾噪声具有相似的差分隐私保证，为一种可行的选择。

Mar, 2024

这篇论文通过建立 “迭代的隐私放大” 现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

Mar, 2024

本文提出了一种用于文本扰动的新机制，它基于 Mahalanobis 度量的正则化变体，旨在平衡隐私和效用之间的权衡，以提高文本分析的隐私性。

Oct, 2020

本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

Aug, 2018

本文提出了一种分布式优化算法，通过引入差分隐私的方法来保护隐私信息，该算法通过加性噪声扰动公共信号，噪声的大小由投向用户指定约束条件的投影运算的灵敏度决定，将它视为随机梯度下降的一种实现，并通过对其次优性的边界估计来评估算法的性能，同时对电动汽车充电场景进行了数值模拟，评估了算法在实践中的使用效果，包括步长的选择、迭代次数以及隐私级别和子优延迟之间的权衡问题。

Nov, 2014