通过零阶方法进行微调预训练语言模型，以解决精调大型语言模型在内存和隐私方面面临的挑战。DPZero 是一个新的具有几乎维度无关率的差分隐私零阶算法，对于实际中的语言模型部署具有高度实用性。

Oct, 2023

本文研究了差分隐私零阶方法在预训练语言模型中的潜力，通过近似梯度避免了 SGD 的可扩展性瓶颈，并提出了动态调度超参数的阶段性差分隐私零阶方法和减少可训练参数的数据无关剪枝技术，从理论和实证分析了这两种方法的效果。

Feb, 2024

通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在 SST-2 数据集上，对具有 300M 参数的 RoBERTa-large 进行微调可以实现 92.20% 的准确率（给定 ε=0.3，δ=10^-10），类似的结果也在 GPT-2 的文本生成任务中发现。此外，基于我们的了解，LMO-DP 是第一个具有良好差分隐私保证的准确微调 Llama-2 的解决方案。

May, 2024

使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021

本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

Apr, 2022

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

Sep, 2022

本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

Apr, 2022

使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。

Nov, 2023

差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

Jun, 2024

使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

Jun, 2024