对自然语言生成任务中使用大型语言模型进行用户级差分隐私保护的设计选择进行系统评估，重点研究两种实现用户级差分隐私保证的机制，即群体隐私和用户级 DP-SGD，包括数据选择策略和参数调优，以实现最佳的隐私 - 效用平衡。

Jun, 2024

通过使用基于 Edgeworth 会计师的有限样本隐私保证 DP 框架，我们提出了一种针对 LLM 的 DP 细调框架 ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的 LLMs 性能提高了 1.1％。

Oct, 2022

本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

Apr, 2022

使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

利用特定域数据对大型语言模型进行微调时，存在个人身份信息敏感度的问题。为了解决这一挑战，我们引入了隐私保护语言模型（PPLM），通过有效注入特定领域知识来保护数据隐私。我们的工作提供了模型设计理论分析，并详细介绍了诸如语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。在各种数据集和场景下的广泛实验证实了我们方法的有效性。特别是，正负样本指令微调成为一种有潜力的方法，可以在增强模型知识的同时保护私人数据。我们的工作突显了大型语言模型作为强大隐私保护学习器的潜力。

Oct, 2023

机器学习中公平性和隐私性是两个重要的价值观，通过差分隐私机制来限制个体训练数据对结果模型的影响，但我们发现差分隐私会加剧性别、种族和宗教偏见，而反事实数据增强法可以缓解差分隐私所引发的偏见扩大，因此差分隐私和反事实数据增强法可以同时维护公平性和隐私。

Feb, 2024

本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。

Oct, 2021

通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在 SST-2 数据集上，对具有 300M 参数的 RoBERTa-large 进行微调可以实现 92.20% 的准确率（给定 ε=0.3，δ=10^-10），类似的结果也在 GPT-2 的文本生成任务中发现。此外，基于我们的了解，LMO-DP 是第一个具有良好差分隐私保证的准确微调 Llama-2 的解决方案。

May, 2024

本文介绍了两种隐私保护正则化方法，以实现公用性和隐私的联合优化，通过广泛评估，展示了这些方法的优势，例如略有优越的公用性 - 隐私权衡、更快的训练以及确保少数群体的平等待遇。

Mar, 2021