使用微分隐私技术对加性迭代算法的中间结果进行保护，避免泄露中间过程可以强化隐私保障并解决凸优化问题。
Aug, 2018
本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。
本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。
Nov, 2019
本文提出了ADADP算法，该算法是一种自适应且具有可证明隐私保证的学习算法，通过引入自适应噪声以及自适应学习率，显著降低了隐私成本并减轻了差分隐私对模型准确性的负面影响。ADADP在真实数据集上的实验结果表明，它在隐私成本和模型准确性方面都优于最先进的具有差分隐私的方法。
Dec, 2019
研究不同ially private (DP)算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了DP RMSProp和DP Adam等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了DP自适应梯度法比标准的DP SGD更具有优势。
Jun, 2020
本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量Stochastic Gradient Descent（SGD）算法和Adagrad算法的私有版本，证明了我们的私有版本的Adagrad优于自适应SGD，而这又优于传统的SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。
Jun, 2021
本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。
Oct, 2021
本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长;我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了ADP方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括AdaGrad（Duchi等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。
该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了dropout和l2正则化作为较优秀的隐私保护方法。
Sep, 2022
在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与DP-SGD具有竞争力。
Dec, 2023