本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法（DP-PSAC），通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证，我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差，其算法效果优于同领域的相关工作 NSGD/Auto-S。

Dec, 2022

自动差分隐私随机梯度下降 (Auto DP-SGD) 方法通过基于深度学习模型的梯度范数自动裁剪阈值估计和缩放每个训练样本的梯度来改善算法的实用性，并引入自动噪声乘数衰减机制以提高准确性。在各种基准数据集上，Auto DP-SGD 在隐私和准确性方面优于现有的 DP-SGD 方法，并通过降低标度因子和使用学习率调度器来提高隐私性能，而不会显著降低准确性。

Dec, 2023

本研究提出了 AdaCliP 差分隐私 SGD 算法，通过对梯度进行逐坐标自适应剪辑的方式，可以降低加入的噪音，从而得到更准确的模型。

Aug, 2019

本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。

Jun, 2020

在本研究中，我们深入研究了差分隐私优化中关键组成部分之一的逐样本梯度剪裁方式，发现不同的剪裁方式具有相同的时间复杂度，但存在准确性 - 内存消耗的权衡关系：粗粒度全部层剪裁通常提供最佳准确性，但相比于细粒度的分组剪裁，会带来更高的内存开销。我们通过收敛性理论和复杂性分析形式化表达了这种权衡关系。重要的是，我们证明了在更大的模型中，分组剪裁与全部层剪裁之间的准确性差距越来越小，而分组剪裁的内存优势仍然存在。因此，分组剪裁允许对大型模型进行差分隐私优化，以同时实现高准确性和低内存峰值。

Oct, 2023

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

本文探讨了确保差分隐私的两个算法 DP-SGD 和 DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了 DP-NSGD 的正则化因子如何控制偏差和噪声的平衡。

Jun, 2022

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法，它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题，并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。

May, 2019

通过将剪切阈值视为可学习参数，我们提出了一种新的方法来动态优化差分隐私机器学习模型的训练过程，从而在不牺牲整体隐私分析的情况下，在各种评估场景中展现出与传统方法相媲美甚至更好的性能。

Oct, 2023