本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

May, 2014

本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸函数，给出比传统算法更紧的上界。

Feb, 2018

本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

Aug, 2018

本研究针对随机凸优化问题的不同隐私算法进行了研究,通过分析算法的稳定性以确保泛化,得出了当参数的情况在实践中最为普遍时,隐私SCO的渐近收敛率与非隐私的SCO相同，即都为1/√n.

Aug, 2019

本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。

Nov, 2019

本文系统研究了在不同的normed space下，拥有标准平滑性假设的Differentially private stochastic convex optimization问题，提出了新的算法并证明了其优于之前已知的算法

Mar, 2021

本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长;我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了ADP方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括AdaGrad（Duchi等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。

Oct, 2021

我们研究了具有用户级隐私的差分隐私随机凸优化（DP-SCO），其中每个用户可能拥有多个数据项。我们开发了新算法用于用户级DP-SCO，在多项式时间内获得凸和强凸函数的最优速率，并且在维度上只要求用户数量呈对数增长。此外，我们的算法是第一个在多项式时间内获得非平滑函数最优速率的算法。这些算法基于多遍DP-SGD，结合了一种集中数据的新颖私有均值估计过程，在估计梯度的平均值之前应用了一个异常值移除步骤。

Nov, 2023

在半敏感DP设置下，我们研究了差分隐私（DP）经验风险最小化（ERM）问题，其中只有部分特征是敏感的。我们对DP-ERM的超额风险给出了改进的上界和下界。具体来说，在敏感域的规模方面，我们的错误只在对数多项式尺度上缩放，这比以前的结果在敏感域的规模上多项式缩放有所改进（Ghazi 等人，2021年）。

Jun, 2024

对于最常用的DP-SGD变体，即通过循环替换方式采样批次、进行梯度裁剪并仅发布最后一个DP-SGD迭代，我们在不假设凸性、平滑性或Lipschitz连续性的损失函数的情况下，建立了新的Rényi差分隐私（RDP）界限，假设DP-SGD的步长相对于损失函数中的拓扑常数较小，且损失函数是弱凸的。此外，当目标函数的弱凸参数趋近于零时，我们的界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，我们提供了一种随着DP-SGD迭代次数的扩展良好的界限。

Jul, 2024