基于大型语言模型的鲁棒性保持效用的文本匿名化
该研究探讨了文本匿名化在保护数据隐私和遵守相关法律方面的困境和挑战,并提出了一种名为TILD的评估标准来衡量匿名化方法的性能和信息损失,以及人类重新识别隐去文档的能力,为实现匿名化性能标准化提供了可能。
Mar, 2021
本研究探讨了不同的假名化技术在各种数据集和用于两种广泛使用的 NLP 任务(文本分类和摘要)的模型中的有效性,重点关注假名化技术对原始数据和模型质量之间差距的关键见解,并促进未来研究更高质量的匿名化技术,以更好地平衡数据保护和效用保护之间的权衡。其中,代码、假名化数据集和下游模型均可公开获取。
Jun, 2023
许多公司已开始提供基于大型语言模型(LLM)的服务,如ChatGPT,这不可避免地引起了隐私问题,由于用户的提示暴露给了模型提供者。先前针对使用多方计算(MPC)进行安全推理的研究已被证明在LLM应用中不切实际,因为其耗时且通信密集。虽然轻量级的匿名化技术可以通过替代或掩盖方式保护提示中的私人信息,但却无法恢复在LLM生成的结果中替换的敏感数据。在本文中,我们通过训练一个小型本地模型来扩展匿名化技术的应用场景,以以最小的计算开销解除LLM返回的结果的匿名化。我们引入了HaS框架,其中“H(ide)”和“S(eek)”分别代表其两个核心过程:用于匿名化的隐藏私有实体和用于解匿名化的寻找私有实体。为了定量评估HaS的隐私保护性能,我们提出了黑盒和白盒对抗模型。此外,我们进行了翻译和分类任务的实验以评估HaS的可用性。实验结果表明,HaS框架在隐私保护和实用性之间实现了最优的平衡。
Sep, 2023
使用大型语言模型,本研究探索了替代标记符的可行性,以保护用户隐私,分析了不同方法的实验结果,在下游语言建模任务中实现了与原始数据训练相媲美的性能。
Sep, 2023
给出了当前针对大型语言模型(LLMs)的隐私攻击的全面分析,并对其进行了分类,同时提供了用于对抗这些隐私攻击的重要防御策略,并指出了LLMs发展中可能出现的新的隐私问题和未来的研究方向。
Oct, 2023
使用DP-Prompt及类似ChatGPT的强大语言模型在IMDB数据集上进行实验,发现其能够有效减少de-anonymization攻击成功率,并在与现有方法相比设计更简单的情况下,完全恢复了清洁情感F1分数,同时在对抗静态攻击者和自适应攻击者方面分别实现了46%和26%的减少
Oct, 2023
近期在隐私研究中,大型语言模型在推断真实世界在线文本中的个人数据方面已经达到接近人类水平的性能。在存在不断增长的模型能力的同时,现有的文本匿名化方法目前无法满足监管要求和对抗威胁。这引发了一个问题,即个人如何能够有效地在分享在线文本时保护自己的个人数据。本研究分两步回答这个问题:首先,我们提出了一个新的环境,在对抗性大型语言模型推理的情况下评估匿名化性能,从而在纠正以前的指标缺陷的同时,实现对匿名化性能的自然度量。然后,我们提出了基于大型语言模型的对抗性匿名化框架,利用大型语言模型的强大推理能力来指导我们的匿名化过程。在我们的实验评估中,我们展示了在真实世界和合成在线文本中,对抗性匿名化在结果效用和隐私方面均优于目前的工业级匿名化工具。
Feb, 2024
本研究通过对比分析使用转换器模型和大型语言模型(LLM)与传统架构进行文本匿名化任务的性能,评估了几种模型的表现,并展示了每种方法的优点和缺点,为研究人员选择最合适的模型提供了明确的视角。
Apr, 2024
本文提出了 PrivacyRestore 来保护 LLM 推理过程中用户输入的隐私信息,通过激活控制和隐私恢复技术实现,实验结果表明 PrivacyRestore 能在保护隐私信息的同时保持良好的性能和推理效率。
Jun, 2024
本研究探讨了大型语言模型(LLMs)在隐私保护方面面临的挑战,特别是在关键领域(如医疗保健)中的风险。提出从数据匿名化到差分隐私的多种解决方案,以在整个学习过程中有效地集成隐私保护机制。这项工作的关键发现是为构建更安全可信的人工智能系统提供了针对隐私保护方法的全面评估与未来发展方向的指导。
Aug, 2024