本文探讨了确保差分隐私的两个算法 DP-SGD 和 DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了 DP-NSGD 的正则化因子如何控制偏差和噪声的平衡。

Jun, 2022

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

本论文提出了一种易于使用的替代方案 AutoClipping，它消除了任何 DP 优化器（包括 DP-SGD，DP-Adam，DP-LAMB 等）调整剪辑参数 R 的需要，提供了和现有 DP 优化器一样私密和计算有效的自动变体，但不需要 DP 特定的超参数，因此使 DP 训练像标准的非私密训练一样易于处理，在非凸环境中采用自动 DP-SGD 的严格收敛分析表明其具有与标准 SGD 相匹配的渐近收敛速度，并证明该算法在各种语言和视觉任务上优于或与最先进的方法相匹配，可以很容易地用最少的更改应用于现有的代码库。

Jun, 2022

本研究提出了 AdaCliP 差分隐私 SGD 算法，通过对梯度进行逐坐标自适应剪辑的方式，可以降低加入的噪音，从而得到更准确的模型。

Aug, 2019

该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法，它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题，并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。

May, 2019

自动差分隐私随机梯度下降 (Auto DP-SGD) 方法通过基于深度学习模型的梯度范数自动裁剪阈值估计和缩放每个训练样本的梯度来改善算法的实用性，并引入自动噪声乘数衰减机制以提高准确性。在各种基准数据集上，Auto DP-SGD 在隐私和准确性方面优于现有的 DP-SGD 方法，并通过降低标度因子和使用学习率调度器来提高隐私性能，而不会显著降低准确性。

Dec, 2023

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

在本研究中，我们深入研究了差分隐私优化中关键组成部分之一的逐样本梯度剪裁方式，发现不同的剪裁方式具有相同的时间复杂度，但存在准确性 - 内存消耗的权衡关系：粗粒度全部层剪裁通常提供最佳准确性，但相比于细粒度的分组剪裁，会带来更高的内存开销。我们通过收敛性理论和复杂性分析形式化表达了这种权衡关系。重要的是，我们证明了在更大的模型中，分组剪裁与全部层剪裁之间的准确性差距越来越小，而分组剪裁的内存优势仍然存在。因此，分组剪裁允许对大型模型进行差分隐私优化，以同时实现高准确性和低内存峰值。

Oct, 2023

本文提出了一种新的自适应层裁剪方法（ALC），并对批量裁剪（BC）和 ALC 进行了严格的差分隐私（DP）证明，实验证明我们改进后的 BC 和 ALC 应用于 CIFAR-10 的 resnet-18 上能够收敛，而 IC 和 ALC 的 DPSGD 却不能。

Jul, 2023

通过将剪切阈值视为可学习参数，我们提出了一种新的方法来动态优化差分隐私机器学习模型的训练过程，从而在不牺牲整体隐私分析的情况下，在各种评估场景中展现出与传统方法相媲美甚至更好的性能。

Oct, 2023