本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

May, 2014

本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

Feb, 2018

本研究提出了一个隐私保护的机器学习算法，基于差分隐私定义，首先将 Dwork 等人的输出扰动思想应用于 ERM 分类，然后通过扰动目标函数来设计一个新的 objective perturbation 方法，对于满足某些凸性和可微性条件的损失函数和正则化方法，我们证明了我们的算法可以保护隐私，并提供线性和非线性核的泛化界，同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数，从而为训练过程提供了端到端的隐私保证。实验结果表明，与输出扰动方法相比，我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。

Dec, 2009

我们介绍了一种新的零阶算法，用于非凸和非光滑目标的私有随机优化。给定一个大小为 M 的数据集，我们的算法确保（α，αρ²/2）-Rényi 差分隐私，并找到一个（δ，ε）- 稳定点，只要 M=Ω^(~)[(d/(δε³)) + (d^(3/2)/(ρδε²)) ]。这与其非私有的零阶模拟的最优复杂度相匹配。值得注意的是，尽管目标不是光滑的，只要 ρ ≥ √(d)ε，我们就有了 “免费” 的隐私。

Jun, 2024

本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长；我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了 ADP 方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括 AdaGrad（Duchi 等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。

Oct, 2021

我们研究基于差分隐私的私有经验风险最小化问题，其中损失函数满足（γ，κ）-Kurdyka-Lojasiewicz 条件。当损失函数是利普希茨且光滑的时候，我们提出了一种基于方差减少梯度下降的新算法，并在超过经验风险的速率达到了几乎最优。当 KL 参数未知时，我们对噪声梯度下降算法进行了修改和分析，并证明了该算法在适应性上的性能几乎最优。同时，我们还展示了在不假设 KL 条件的情况下，同样的梯度下降算法可以以快速的收敛速度逼近利普希茨、光滑（甚至非凸）目标的驻点。

Nov, 2023

研究不同 ially private (DP) 算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。

Jun, 2020

在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。

Dec, 2023

本研究提出 DP-LSSGD，一种基于差分隐私的 SGD 算法，通过 Laplacian smoothing 减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

Jun, 2019

本文提出两种新的不同 ially private 的方法，实现了凸优化的最优解，使用较少的梯度计算，同时需要对数据有轻度平滑性的假设。

May, 2020