通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。
Sep, 2020
本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。
Oct, 2021
通过使用基于Edgeworth会计师的有限样本隐私保证DP框架，我们提出了一种针对LLM的DP细调框架ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的LLMs性能提高了1.1％。
Oct, 2022
通过零阶方法进行微调预训练语言模型，以解决精调大型语言模型在内存和隐私方面面临的挑战。DPZero是一个新的具有几乎维度无关率的差分隐私零阶算法，对于实际中的语言模型部署具有高度实用性。
Oct, 2023
本文研究了差分隐私零阶方法在预训练语言模型中的潜力，通过近似梯度避免了 SGD 的可扩展性瓶颈，并提出了动态调度超参数的阶段性差分隐私零阶方法和减少可训练参数的数据无关剪枝技术，从理论和实证分析了这两种方法的效果。
Feb, 2024
在我们的研究中，我们揭示了Differential Privacy（DP）技术在处理Large Language Models（LLMs）的隐私和泛化之间的权衡中，DP训练模型的损失平面的平坦程度起到了关键作用。我们进一步提出了一个全面的框架来强制执行适当的权重平坦度，从而大幅提高模型的泛化能力并保持竞争性的隐私保护。
Mar, 2024
通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在SST-2数据集上，对具有300M参数的RoBERTa-large进行微调可以实现92.20%的准确率（给定ε=0.3，δ=10^-10），类似的结果也在GPT-2的文本生成任务中发现。此外，基于我们的了解，LMO-DP是第一个具有良好差分隐私保证的准确微调Llama-2的解决方案。
May, 2024
利用用户级差分隐私（DP）进行训练大型语言模型（LLMs）的实用和可扩展算法研究，以可证明地保护每个用户贡献的所有示例；通过实验在固定计算预算下验证结果，发现当需要较高的隐私保证或计算预算较大时，用户级抽样和用户级梯度剪切（ULS）通常能提供更好的结果。
Jul, 2024
本研究解决了语言模型在微调过程中面临的隐私保护不足问题。提出的ANADP算法通过根据模型参数的重要性自适应分配加性噪声，优化了差分隐私的效果。实验结果表明，ANADP在满足隐私要求的同时，缩小了常规微调与传统差分隐私微调之间的性能差距。
Oct, 2024
本研究解决了差分隐私随机梯度下降（DPSGD）在训练语言模型时引发的效用、多样性和语言质量下降的问题。提出了一种三阶段的方法DPRefine，通过小型预训练语言模型的数据合成进行初始化，在私有数据上进行差分隐私微调，并进行自我蒸馏以改善输出。研究表明，DPRefine在降语言错误方面有效，减少了常见的语法和拼写错误，并在所有数据集中78.4%的案例中被优选，展现了其在隐私保护语言模型部署中的潜力。