利用词在嵌入空间中的空间排列对原始文本应用差分隐私 (DP)，研究了此类文本隐私技术对语言模型 (LMs) 及其对刻板化关联的倾向的影响。在测试 BERT 模型在包含有刻板化陈述的文本上进行的训练中，研究发现，尽管隐私越加严格时刻板化倾向一般减弱，但文本隐私并不一致地等同于减少所有社会领域的偏见。这突出了对经历文本隐私处理的语言模型中的偏见进行仔细诊断的必要性。

Jun, 2024

本文提出了利用局部差分隐私 (DP) 对文本进行隐私保护的方法，使 BERT 自然语言处理可以进行隐私保护并保证了较高的数据效用，然而高效用并未增加推理攻击的成功率。

Jun, 2021

该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。

Feb, 2022

在自然语言理解和数据挖掘中，隐私保护仍然是一个关键的挑战。本文研究了对预先训练的语言模型应用局部差分隐私的隐私保护方法，并指出了这种方法在 BERT 细调中的实用性和隐私性的影响，同时提出了隐私适应性的语言模型预训练方法，可以显著提高 BERT 的实用性，并保持相同水平的隐私保护。本文实验和发现为未来探索隐私保护的自然语言理解提供了奠基。

Apr, 2021

本文介绍了一个新的文本匿名处理方法，该方法使用 fine-tuned 变压器语言模型实现了高质量的语言输出，同时避免了匿名化方法存在的隐私保护及文本保留方面的问题。

May, 2022

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

本文旨在解决基于文本的隐私保护问题，提出了一种基于度量的差分隐私方法，利用词向量在向量空间的表示来添加噪声并完成替换。分析表明现有方法替换后语法上存在局限性，提出用候选选择解决替换方向的问题。实验结果表明，该方法在保证隐私的同时，提升了下游任务的表现。

Jun, 2023

使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

Oct, 2022

语言模型如 mBERT、XLM-R 和 BLOOM 旨在实现多语言泛化或压缩，以便在大量（可能是未知的）语言中实现转移。然而，这些模型理想情况下还应该是私有的、语言公平的和透明的，通过将它们的预测与训练数据关联起来。我们展示多语言压缩和语言公平能够与差分隐私兼容，但差分隐私与训练数据影响稀疏性存在矛盾，这是透明度的目标。我们在两个常见的 NLP 任务上进行了一系列实验，并在不同的隐私保证下评估多语言压缩和训练数据影响稀疏性，更详细地探讨了这些权衡。我们的结果表明，我们需要开发一种共同优化这些目标的方法，以找到实际的权衡。

Aug, 2023

本文研究从语言模型中提取个人信息风险，并探讨 Differentially Privacy 对 fine-tuned BERT 模型文本生成能力的影响，结果表明，BERT 不太可能泄露个人或隐私敏感的命名实体，并指出这些结果重要理解 BERT-based 服务易受到训练数据提取攻击的程度。

Dec, 2022