本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。
Aug, 2018
本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。
May, 2023
本研究提出了DP-RandP方法，并从随机过程生成的图像中学习先验知识，并将这些先验知识传递给私有数据，从而提高了差分隐私随机梯度下降DP-SGD的隐私效用权衡的性能，并在CIFAR10，CIFAR100和MedMNIST数据集上实现了新的最佳准确度。
Jun, 2023
利用公共数据改善差分隐私模型的训练效果的方法。
本文发展了一种新的DP-SGD分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。
Jul, 2023
DPSUR是基于选择性更新和发布的差分隐私训练框架，通过评估每次迭代的梯度并只使用导致收敛的更新，实现了比DPSGD更快的收敛速度，实验结果表明DPSUR在收敛速度和模型效用方面明显优于之前的研究成果。
Nov, 2023
通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在ImageNet-21k上实现41.5%的差分隐私准确率（ε=8），以及在下游任务Places365和iNaturalist-2021上分别达到55.7%和60.0%的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。
Feb, 2024
通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。
Jun, 2024
使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。
本研究解决了差分隐私随机梯度下降（DP-SGD）在使用固定大小子采样时隐私保障的不紧问题。提出了一种新的Rényi差分隐私账户模型，提供了更好的可计算界限，并证明在采样概率的主导阶数上，Poisson子采样与无替换的固定大小子采样是相同的。最显著的发现表明，固定大小子采样在实践中展现出更低的方差和优越的内存使用效率，因此在许多情况下优于Poisson子采样。
Aug, 2024