面向上下文的差分隐私语言建模

Jan, 2023

Context-Aware Differential Privacy for Language Modeling

My H. Dinh, Ferdinando Fioretto

TL;DR本文介绍了 Context-Aware Differentially Private Language Model（CADP-LM）框架，该框架利用上下文定义和审计可能的敏感信息，并采用差分隐私来保护敏感信息和表征隐私泄漏，实现对敏感句子和上下文的高精度保护。一系列实验表明了 CADP-LM 的优势。

Abstract

The remarkable ability of language models (LMs) has also brought challenges at the interface of AI and security. A critical challenge pertains to how much information these models retain and leak about the training data. This is particularly urgent as the typical development of LMs rel

language models ai security privacy context-aware differential privacy

发现论文，激发创造

上下文感知的本地差分隐私

本文提出了一个上下文感知的局部差分隐私框架，允许隐私设计者将应用程序的上下文纳入到隐私定义中。针对二进制数据域，我们提供了一种普遍最优的隐私方案，并且针对 $k$-ary 数据域，我们研究了两种特殊情况下的局部差分隐私。我们研究了离散分布估计，并提供了通信效率高、样本最优的方案和信息论下界。我们展示了使用上下文信息可以比经典局部差分隐私更少地使用样本来达到相同的准确度。

Oct, 2019

安全数据共享的差分隐私语言模型

使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

Oct, 2022

局部差分私有化上下文学习

基于预训练语言模型和隐私保护的局部差分隐私框架中的语境学习（ICL）的分析研究

May, 2024

差分隐私语言模型受益于公共预训练

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

用户级别差分隐私用于语言模型微调

对自然语言生成任务中使用大型语言模型进行用户级差分隐私保护的设计选择进行系统评估，重点研究两种实现用户级差分隐私保证的机制，即群体隐私和用户级 DP-SGD，包括数据选择策略和参数调优，以实现最佳的隐私 - 效用平衡。

Jun, 2024

面向语言建模的选择性差分隐私

本文提出了一种新的隐私保护机制 Selective-DPSGD，采用选择性差分隐私保护敏感信息，保证了语言模型和对话系统在隐私攻击下的安全性和效用性。

Aug, 2021

差分隐私场景内学习

通过建立嘈杂一致性来实现隐私推理，DP-ICL 提出了一个方法，用于使大型语言模型适应新任务同时保持隐私保证，通过在一系列范例上建立嘈杂共识，DP-ICL 在四个基准测试中获得了与非私有 ICL 相当的性能 (<2% 降级)。

May, 2023

通过合成文本生成实现差分隐私知识蒸馏

利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

Mar, 2024

LLM 是否能保守秘密？通过上下文完整理论测试语言模型的隐私影响

通过提出 ConfAIde 基准测试，我们的实验结果表明即使在使用了隐私保护提示或思维链推理后，如 GPT-4 和 ChatGPT 这样的最先进模型仍然有 39% 和 57% 的概率在具体情境中泄露私人信息，这凸显了探索基于推理和心智理论的新型推理时隐私保护方法的迫切需要。

Oct, 2023

大语言模型时代的隐私保护：你所写即你所是

本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

Apr, 2022