本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

Jun, 2020

本文提出了一种投影DP-SGD方法，通过将噪声梯度投影到低维子空间来减少噪音，并在小型公共数据集中通过一般样本复杂度分析来确定此子空间。实证研究表明，该方法可以显著提高DP-SGD的准确性，特别是在高隐私损失情况下。

Jul, 2020

本文提出了一种新的Book-Keeping（BK）技术，用于实现现有的DP优化器，以降低计算成本，并在视觉和语言任务方面进行广泛实验，取得了SOTA精度。

Sep, 2022

本文发展了一种新的DP-SGD分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

使用DP-SGD算法对大型嵌入模型进行隐私训练时，为了维持梯度稀疏性，我们提出了两个新算法DP-FEST和DP-AdaFEST，能够在保持相当准确性的同时，实现梯度大小的大幅度降低（$10^6 imes$）。

Nov, 2023

DP-ZO是一种维护训练数据隐私的方法，通过对零阶优化中步长的隐私化来对大型语言模型进行微调，可在保守的隐私预算下提供强大的隐私-效用权衡，且在SQuAD的1000个训练样本上，对OPT-66B的微调仅导致1.86%的性能降低。

Jan, 2024

使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保DNN的训练时，DP-SGD会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战，因为强DP保证需要使用大规模批次。我们首先展示这种现象也适用于无噪声SGD（无截断的DP-SGD），表明随机性（而不是截断）是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。我们在线性最小二乘和对角线线性网络设置中理论上分析了连续版本的无噪声SGD所得到的解，并揭示了隐式偏差确实被额外的噪声放大。因此，大批量DP-SGD训练的性能问题根源于SGD的相同潜在原则，为大批量训练策略的潜在改进提供了希望。

Feb, 2024

我们提出了一种新的差分隐私算法，叫做加速差分隐私随机递归梯度下降（Accelerated-DP-SRGD），它能够在只对当前步骤的新信息进行隐私代价计算的情况下实现最优DP-随机凸优化（DP-SCO）错误，通过仅使用数据集上的单个时期并以Nesterov的加速速率收敛，解决了从DP持续计数中生成相关噪声的问题，最后还展示了我们的算法在MNIST和CIFAR-10上对多类逻辑回归的优越性。

Jun, 2024

差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的DP-SGD实现和使用低精度进行训练，最后我们还研究了使用多达80个GPU的扩展行为。

Jun, 2024

本研究针对传统差分隐私技术在梯度处理上对模型准确性的影响，提出了一种新方法DP-PSASC，通过非单调自适应缩放梯度替换传统的剪切，改善了对小梯度的重 weighting。研究表明，该方法在保持隐私保护的同时，提高了模型在多种数据集上的性能，具有较大的应用潜力。

Nov, 2024