本文对 2016 年至 2020 年间发表的 60 种深度学习模型进行了系统综述，介绍了一种新的分类法，并讨论了隐私保护自然语言处理模型中的隐私问题。

May, 2022

这篇论文介绍了一种名为 PromptCrypt 的加密机制，它使用表情符号对用户输入进行加密，保护用户隐私，无论对人类还是 LLM 自身都无法辨别敏感数据，同时保持模型的性能，实现与直接提示 LLM 相比，任务准确性可比甚至更优，突出了保护用户隐私而不损害 LLMs 的功能完整性和性能的加密措施的实用性。

Feb, 2024

本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

Apr, 2022

使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

Sep, 2023

通过关键词隐私、安全、深度神经语言模型、加密和性能，本文提出了一种新颖的方法来改进和优化基于 Transformer 的语言模型，在密钥加密的用户特定文本上进行自适应和微调，以实现在保护性能、隐私和安全性的同时进行推理和训练。

Dec, 2023

本文主要研究基于深度学习自然语言处理中的对抗攻击，探讨攻击者如何通过窃取神经网络文本分类器的隐藏表示来获取敏感信息，为解决此问题，文章提出并论证多个防御方案，改进神经表示的隐私保护性能。

Aug, 2018

本研究探讨了不同的假名化技术在各种数据集和用于两种广泛使用的 NLP 任务（文本分类和摘要）的模型中的有效性，重点关注假名化技术对原始数据和模型质量之间差距的关键见解，并促进未来研究更高质量的匿名化技术，以更好地平衡数据保护和效用保护之间的权衡。其中，代码、假名化数据集和下游模型均可公开获取。

Jun, 2023

本研究提出了一种名为 TextHide 的方法，它可以在不影响训练效率或准确性的情况下有效地减少分布式或联邦学习中的隐私风险，通过简单地添加加密步骤来防止窃听攻击者恢复私人文本数据，该方法能够与预训练语言模型的微调框架很好地契合，并在 GLUE 基准测试中取得了良好的效果，可以有效抵御共享梯度和表示的攻击，并仅平均准确率降低了 1.9%。

Oct, 2020

本文阐述了利用不同隐私保护训练配置扩大自监督学习 Transformer 模型的规模，提供 Domain Adaptation 和 Privacy Protection，实现在法律领域 NLP 下的无监督超大规模训练的技术，这在之前尚未得到解决。

Nov, 2022

该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

Jan, 2023