本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。
Apr, 2022
本文提出了一种隐私保护机制，通过结合机器学习技术和文本处理技术，通过 “词袋” 表示的文档来建模文本文件的隐私。该机制在语义相似性度量方面满足隐私保护，从而在保护文本隐私信息的同时，保留足够的文本内容信息以便进行准确的内容分类任务。
Nov, 2018
本文对 2016 年至 2020 年间发表的 60 种深度学习模型进行了系统综述，介绍了一种新的分类法，并讨论了隐私保护自然语言处理模型中的隐私问题。
May, 2022
采用一系列解释技术对来自在扰动预文本上训练的 BERT 的内部表示进行解析，旨在在语言层面上解开差分隐私引起的失真。实验证据表明，内部表示的整体相似度显著降低。使用探测任务来解析这种不相似性，发现文本到文本的隐私处理影响了多种形式的语言能力，编码了单词的局部属性，但在编码单词串的上下文关系方面存在不足。
Oct, 2023
在自然语言理解和数据挖掘中，隐私保护仍然是一个关键的挑战。本文研究了对预先训练的语言模型应用局部差分隐私的隐私保护方法，并指出了这种方法在 BERT 细调中的实用性和隐私性的影响，同时提出了隐私适应性的语言模型预训练方法，可以显著提高 BERT 的实用性，并保持相同水平的隐私保护。本文实验和发现为未来探索隐私保护的自然语言理解提供了奠基。
Apr, 2021
本文介绍了一个新的文本匿名处理方法，该方法使用 fine-tuned 变压器语言模型实现了高质量的语言输出，同时避免了匿名化方法存在的隐私保护及文本保留方面的问题。
使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。
Oct, 2022
本文提出了利用局部差分隐私 (DP) 对文本进行隐私保护的方法，使 BERT 自然语言处理可以进行隐私保护并保证了较高的数据效用，然而高效用并未增加推理攻击的成功率。
Jun, 2021
本文基于差分隐私原理给出了关于基于文本转换的去识别化方法的形式化隐私保证，并探究了不同的掩盖策略对与自然语言处理任务的影响。作者发现，只有通过深度学习模型进行逐字替换的方法是在多个任务中具有鲁棒性的。
Aug, 2020
通过测试效用一系列隐私保护技术来缓解大型语言模型不经意地记忆保密训练数据的风险，实验表明，差分隐私有可靠的隐私保护效果，但是性能代价较大。
Dec, 2022