通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法（DP-PSAC），通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证，我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差，其算法效果优于同领域的相关工作 NSGD/Auto-S。

Dec, 2022

本论文提出了一种易于使用的替代方案 AutoClipping，它消除了任何 DP 优化器（包括 DP-SGD，DP-Adam，DP-LAMB 等）调整剪辑参数 R 的需要，提供了和现有 DP 优化器一样私密和计算有效的自动变体，但不需要 DP 特定的超参数，因此使 DP 训练像标准的非私密训练一样易于处理，在非凸环境中采用自动 DP-SGD 的严格收敛分析表明其具有与标准 SGD 相匹配的渐近收敛速度，并证明该算法在各种语言和视觉任务上优于或与最先进的方法相匹配，可以很容易地用最少的更改应用于现有的代码库。

Jun, 2022

本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。

Jun, 2020

本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量 Stochastic Gradient Descent（SGD）算法和 Adagrad 算法的私有版本，证明了我们的私有版本的 Adagrad 优于自适应 SGD，而这又优于传统的 SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

Jun, 2021

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

本文通过证明，在处理偏重尾噪声时，AdaGrad 和 Adam 具有很差的高概率收敛性，提出了一种名为 Clip-RAdaGradD（Clipped Reweighted AdaGrad with Delay）的新版本 AdaGrad，并证明了它在处理偏重尾噪声时具有多对数相关性的高概率收敛边界。经验评估揭示出剪裁版本的 AdaGrad/Adam 在处理偏重尾噪声时具有卓越优势。

Jun, 2024

本文研究了在预测性场景下剪裁随机梯度下降（SGD）算法的收敛性质，分析了其可能产生的偏差放大现象，并提出了两种解决方案和相应的实验验证。

Apr, 2024

自动差分隐私随机梯度下降 (Auto DP-SGD) 方法通过基于深度学习模型的梯度范数自动裁剪阈值估计和缩放每个训练样本的梯度来改善算法的实用性，并引入自动噪声乘数衰减机制以提高准确性。在各种基准数据集上，Auto DP-SGD 在隐私和准确性方面优于现有的 DP-SGD 方法，并通过降低标度因子和使用学习率调度器来提高隐私性能，而不会显著降低准确性。

Dec, 2023

本文提出了一种新的自适应层裁剪方法（ALC），并对批量裁剪（BC）和 ALC 进行了严格的差分隐私（DP）证明，实验证明我们改进后的 BC 和 ALC 应用于 CIFAR-10 的 resnet-18 上能够收敛，而 IC 和 ALC 的 DPSGD 却不能。

Jul, 2023