使用微分隐私技术对加性迭代算法的中间结果进行保护，避免泄露中间过程可以强化隐私保障并解决凸优化问题。

Aug, 2018

本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。

Nov, 2019

本文提出了一种算法Gradient Embedding Perturbation（GEP），针对训练深度学习模型时巨大的可训练参数导致Differential Privacy（DP）机制失效的问题，通过将个体私有梯度投影到非敏感锚定子空间，并将低维梯度嵌入和小范数残差梯度分别按照隐私预算扰动，以使扰动方差保持小，从而在保持合理隐私保障的同时，实现了高精度的训练（特别是在CIFAR10和SVHN数据集上）达到了74.9%和95.1%的测试精度）。

Feb, 2021

本文研究差分隐私算法包括DP-SGD等在进行多次训练来微调算法超参数时产生的隐私泄漏问题，并提出了基于Renyi差分隐私的超参数搜索方法，结果表明虽然调整超参数的确会带来隐私泄漏，但只要每次候选训练运行本身是差分隐私的，那么泄漏就是适度的。

Oct, 2021

AdaDPS是一种通用的框架，使用非敏感侧面信息对梯度进行预处理，可以在私有环境中有效地使用自适应方法，降低噪音所需的数量，从而改善优化性能。在大规模文本和图像基准测试中，相对于强基线，AdaDPS平均提高了7.7％（绝对）的准确度，实现了最先进的隐私效用权衡。

Feb, 2022

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了dropout和l2正则化作为较优秀的隐私保护方法。

Sep, 2022

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与DP-SGD具有竞争力。

Dec, 2023

这篇论文通过建立“迭代的隐私放大”现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

Mar, 2024

对于最常用的DP-SGD变体，即通过循环替换方式采样批次、进行梯度裁剪并仅发布最后一个DP-SGD迭代，我们在不假设凸性、平滑性或Lipschitz连续性的损失函数的情况下，建立了新的Rényi差分隐私（RDP）界限，假设DP-SGD的步长相对于损失函数中的拓扑常数较小，且损失函数是弱凸的。此外，当目标函数的弱凸参数趋近于零时，我们的界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，我们提供了一种随着DP-SGD迭代次数的扩展良好的界限。

Jul, 2024