采用一系列解释技术对来自在扰动预文本上训练的 BERT 的内部表示进行解析，旨在在语言层面上解开差分隐私引起的失真。实验证据表明，内部表示的整体相似度显著降低。使用探测任务来解析这种不相似性，发现文本到文本的隐私处理影响了多种形式的语言能力，编码了单词的局部属性，但在编码单词串的上下文关系方面存在不足。

Oct, 2023

使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

Oct, 2022

该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。

Feb, 2022

本文讨论隐私问题在数据驱动产品和服务中引起的关注，提出了一种利用差分隐私的生成式语言模型的简单、实用和有效方法，以生成有用的合成文本同时缓解隐私问题。经过广泛的实证分析，我们证明了我们的方法产生的合成数据在实用性上与其非私有对应物相当竞争，同时提供了强大的保护措施以防止潜在的隐私泄漏。

Oct, 2022

本文提出了一种隐私保护机制，通过结合机器学习技术和文本处理技术，通过 “词袋” 表示的文档来建模文本文件的隐私。该机制在语义相似性度量方面满足隐私保护，从而在保护文本隐私信息的同时，保留足够的文本内容信息以便进行准确的内容分类任务。

Nov, 2018

文本消毒是将文档进行编码以掩盖其中所有（直接或间接的）个人标识符的任务，以掩盖所指个体的身份。本文考虑了一种两步法的文本消毒方法，并对其在最近发布的两个数据集（Text Anonymization Benchmark 和一组维基百科传记）上的实证表现进行了详细分析。

Oct, 2023

本文介绍了一个新的文本匿名处理方法，该方法使用 fine-tuned 变压器语言模型实现了高质量的语言输出，同时避免了匿名化方法存在的隐私保护及文本保留方面的问题。

May, 2022

利用词在嵌入空间中的空间排列对原始文本应用差分隐私 (DP)，研究了此类文本隐私技术对语言模型 (LMs) 及其对刻板化关联的倾向的影响。在测试 BERT 模型在包含有刻板化陈述的文本上进行的训练中，研究发现，尽管隐私越加严格时刻板化倾向一般减弱，但文本隐私并不一致地等同于减少所有社会领域的偏见。这突出了对经历文本隐私处理的语言模型中的偏见进行仔细诊断的必要性。

Jun, 2024

本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

Jun, 2023

本文旨在解决基于文本的隐私保护问题，提出了一种基于度量的差分隐私方法，利用词向量在向量空间的表示来添加噪声并完成替换。分析表明现有方法替换后语法上存在局限性，提出用候选选择解决替换方向的问题。实验结果表明，该方法在保证隐私的同时，提升了下游任务的表现。

Jun, 2023