通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

本文针对机器学习中的差分隐私引入了『utility-privacy trade-off』，并提出了一种名为 DPSGD-F 的修改版随机梯度下降算法来消除差分隐私对受保护群体的不平等影响，具有『adaptive clipping』的特点。我们的实验证明了群体样本大小和群体剪辑偏差如何影响 DPSGD 中差分隐私的影响，以及 DPSGD-F 中如何采用自适应剪辑来减轻差分隐私造成的不平等影响。

Mar, 2020

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

我们提出了一种新方法，使用子空间识别技术来区分主体和尾梯度，并使用不同的剪切阈值来减少剪切损失，从而在深度学习中减少梯度的规范，并在实验中得到了显著的结果。

May, 2024

本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在 MNIST、FashionMNIST 和 CIFAR10 数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

Nov, 2022

在本文中，我们提出了一个通用的框架 PCDP-SGD，通过在梯度剪裁之前进行投影操作，旨在压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 扩展为差分隐私联邦学习（DPFL）的基本组成部分，用于减轻数据异构挑战并实现高效通信。实验结果表明，在计算机视觉任务中，PCDP-SGD 相对于最先进的 DP-SGD 变体实现了更高的准确性。此外，当在本地训练集上保证差分隐私时，PCDP-SGD 优于当前的联邦学习框架。

Dec, 2023

差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

Jun, 2024

差分隐私随机梯度下降（DP-SGD）相对于普通随机梯度下降（SGD）在大型神经网络上具有较差的训练和测试性能。通过对两种方法的详细研究和比较，我们揭示了一些新的见解。通过分别分析 DP-SGD 在早期和晚期阶段的行为，我们发现 DP-SGD 在早期阶段进展较慢，而晚期阶段的行为决定了最终结果。对 DP-SGD 的剪切和噪声添加步骤进行单独分析，我们发现噪声引入了误差，但是当梯度下降没有被剪切时，可以从这些误差中恢复，而剪切似乎比噪声具有更大的影响。这些效应在高维空间（大型神经网络）中被放大，其中损失区域占据了较低的维度空间。我们基于理论和大量实验的论证认为，幅值修剪可以作为一种合适的降维技术，在这方面可以改善 DPSGD 的测试准确性。

Nov, 2023

本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

本文探讨了确保差分隐私的两个算法 DP-SGD 和 DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了 DP-NSGD 的正则化因子如何控制偏差和噪声的平衡。

Jun, 2022