本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

Jun, 2020

本文旨在探究如何使用差分隐私来训练机器学习模型，以ImageNet图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用DP来训练一个ResNet-18，精度为47.9％。虽然这比“朴素”的DP训练要好，但是离没有隐私的情况下的75％精度还有很大的差距。

Jan, 2022

本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的DP-SGD方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

Apr, 2022

本文介绍了一种不同ially private fine-tuning的方法，通过关键超参数的选择来加快训练，从而在计算机视觉和自然语言处理的基准任务中获得了新的最好表现，具有巨大的实际应用前景。

Dec, 2022

DP-ZO是一种维护训练数据隐私的方法，通过对零阶优化中步长的隐私化来对大型语言模型进行微调，可在保守的隐私预算下提供强大的隐私-效用权衡，且在SQuAD的1000个训练样本上，对OPT-66B的微调仅导致1.86%的性能降低。

Jan, 2024

通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在ImageNet-21k上实现41.5%的差分隐私准确率（ε=8），以及在下游任务Places365和iNaturalist-2021上分别达到55.7%和60.0%的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

Feb, 2024

通过理论研究和实证评估，本文分析了差分隐私fine-tuning方法的训练动态，并探讨了顺序fine-tuning的现象及其对测试损失的影响，为过参数化神经网络中的差分隐私调优提供了理论洞见和隐私预算分配规则。

Feb, 2024

通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在SST-2数据集上，对具有300M参数的RoBERTa-large进行微调可以实现92.20%的准确率（给定ε=0.3，δ=10^-10），类似的结果也在GPT-2的文本生成任务中发现。此外，基于我们的了解，LMO-DP是第一个具有良好差分隐私保证的准确微调Llama-2的解决方案。

May, 2024

在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私-效用平衡，从而在DP合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如CelebA-64数据集上的小隐私预算下，仅有0.47M个可训练参数，在先前最先进结果上实现了超过35%的改进）。

Jun, 2024

使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

Jun, 2024