本文提出了一种用于文本扰动的新机制，它基于 Mahalanobis 度量的正则化变体，旨在平衡隐私和效用之间的权衡，以提高文本分析的隐私性。

Oct, 2020

采用差分隐私应用于自然语言处理技术近年来越来越重要，本研究对其在词级上加入噪音以实现差分隐私表示的不同方法进行了对比分析，并提供了隐私 - 效用权衡的深入分析和代码开源，从而为该研究领域提供了具体的前进步骤。

Apr, 2024

该论文基于度量差分隐私技术，通过加入标定的噪声到单词的向量，并将这个嘈杂的向量通过最近邻搜索算法之后重新映射回离散词汇表，以实现文本到文本的保护。考虑到例如 ' 银行 ' 这样的歧义词，论文通过利用同义词的向量并结合歧义消解步骤来改进该机制，同时在隐私性和实用性方面进行评估。在 Words in Context 数据集上的单词意义消歧中，分类准确性提高了 6.05％。

Jun, 2023

应用差分隐私（DP）在自然语言处理中的研究必须区分其操作的句法级别，通常采用单词级或文档级的隐私化形式。最近，已经提出了几种基于 Word Embedding 空间的通用 DP 概念的单词级 Metric Differential Privacy 方法。然而，这些方法往往无法产生语义连贯的文本输出，只能通过基本的单词扰动组合实现在句子或文档级别的应用。本研究通过在单词和句子级别之间操作，即使用 Collocations，来解决这些挑战。通过扰动 n-grams 而不是单个单词，我们设计了一种方法，其中组合的隐私化输出具有更高的语义连贯性和可变长度。我们通过构建一个基于频繁出现的单词组的嵌入模型来实现这一目标，在该模型中，unigram 词与 bi - 和 trigram collocations 共存。我们在效用和隐私测试中评估了我们的方法，明确提出了超越单词级的标记化策略。

Jun, 2024

本文旨在解决基于文本的隐私保护问题，提出了一种基于度量的差分隐私方法，利用词向量在向量空间的表示来添加噪声并完成替换。分析表明现有方法替换后语法上存在局限性，提出用候选选择解决替换方向的问题。实验结果表明，该方法在保证隐私的同时，提升了下游任务的表现。

Jun, 2023

本文使用 dx-privacy 和 word embedding，提出了一种隐私保护的文本扰动方法，并在大量数据集上进行了实证研究，结果表明在提供更好的隐私保证的同时，实用性有所提高（训练二元分类器的实用性可达到 < 2% 的损失）

Oct, 2019

采用一系列解释技术对来自在扰动预文本上训练的 BERT 的内部表示进行解析，旨在在语言层面上解开差分隐私引起的失真。实验证据表明，内部表示的整体相似度显著降低。使用探测任务来解析这种不相似性，发现文本到文本的隐私处理影响了多种形式的语言能力，编码了单词的局部属性，但在编码单词串的上下文关系方面存在不足。

Oct, 2023

通过提出的创新训练框架 MemDPT，本文在减少大型语言模型的内存成本的同时，强调保护用户数据的隐私，通过边缘网络和反向网络设计实现了差分隐私内存高效微调方案，达到了 2 至 3 倍的内存优化，并提供了可靠的隐私保护，确保用户数据的安全和保密性。广泛的实验证明了 MemDPT 能够有效地在各种任务场景下提供差分隐私高效微调。

Jun, 2024

本研究提出了一种以语义保持的方式扭曲文本以达到保护个人隐私的方法，实验表明该方法在数据隐私保护以及特定医疗信息管理上有着实际意义.

Jan, 2022

该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。

Feb, 2022