PDSS: 大型语言模型逐步蒸馏的隐私保护框架

Jun, 2024

PDSS: 大型语言模型逐步蒸馏的隐私保护框架

PDSS: A Privacy-Preserving Framework for Step-by-Step Distillation of Large Language Models

Tao Fan, Yan Kang, Weijing Chen, Hanlin Gu, Yuanfeng Song...

TL;DR提出了一个基于服务器 - 客户端架构的隐私保护框架 PDSS，该框架通过逐步蒸馏大型语言模型（LLMs）解决了专业领域应用中的隐私和资源限制问题，引入了指数机制策略和编码器 - 解码器策略以平衡提示隐私和合理性可用性，并在各种文本生成任务中验证了 PDSS 的有效性，同时提升了任务特定 SLM 的性能并优先保护数据隐私。

Abstract

In the context of real-world applications, leveraging large language models (LLMs) for domain-specific tasks often faces two major challenges: domain-specific knowledge privacy and constrained resources. To address these issues, we propose PDSS, a →

privacy-preserving framework large language models rationale generation task-specific small language model data privacy protection

发现论文，激发创造

通过合成文本生成实现差分隐私知识蒸馏

利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

Mar, 2024

面向语言建模的选择性差分隐私

本文提出了一种新的隐私保护机制 Selective-DPSGD，采用选择性差分隐私保护敏感信息，保证了语言模型和对话系统在隐私攻击下的安全性和效用性。

Aug, 2021

SoK：隐私保护数据合成

本研究旨在提供一个全面的流派统一的方案折衷了 PPDS 领域中的两种主要方法：统计方法和基于深度学习的方法，在提供了完整的参考表格和关键点摘要以及确定了实际应用中指导方法选择的准则之后，为 DLM 方法在私密图像合成方面提供了基准测试，并鉴别出 DP-MERF 是一种全能方法。

Jul, 2023

基于 LLM 的隐私数据增强在医疗文本分类中以分布教师为引导的知识蒸馏

基于差分隐私的数据增强方法提供了隐私保护和文本分类在私有领域的测验。

Feb, 2024

大型语言模型的差分隐私下一个令牌预测

通过对公共 LLM 输出分布周围的集合投影，并对投影分布进行平均和抽样，PMixED 提供了基于模型预测的差分隐私保护方法，比样本级隐私更可靠，并在大规模数据集上胜过 DP-SGD。

Mar, 2024

使用差分隐私大型语言模型生成合成查询的保护隐私推荐系统

该研究提出了一种新方法，使用差分隐私的大型语言模型开发隐私保护的大规模推荐系统，其方法可以通过在一个查询生成任务中微调预训练的 LLM 模型，生成私有的合成查询以供下游非私有推荐训练使用，同时不会增加任何额外的隐私成本，其在有效的深度检索模型上进行了安全训练的能力得到了验证，并观察到与直接 DP 训练检索模型的方法相比，在不损害查询级隐私保障的前提下显著提高了检索质量。

May, 2023

PFID: 面向 LLM 的隐私优先推断委托框架

该论文介绍了一种名为 PFID 的新型隐私保护框架，通过分散模型和奇异值分解的方式，解决了 LLM 系统中关键的隐私问题。

Jun, 2024

大语言模型中的差分隐私解码

本文提出了一种简单易行、计算轻量化的扰动机制，保证了模型的隐私性，在不影响模型实用性的情况下，可应用于所有 LLM 模型，解决了 LLM 在隐私保护与重新训练之间的折中问题。

May, 2022

FedPDD: 交叉隔离联合推荐的隐私保护双重蒸馏框架

本文提出了一种用于跨平台推荐的隐私保护双蒸馏框架，其通过双重蒸馏策略实现了跨平台本地模型知识转移，采用离线训练方案降低了通信需求和隐私泄露风险，并采用差分隐私进一步保护传输的信息。与现有领先方法相比，本文的方法在两个真实数据集上实现了更好的效果。

May, 2023

拆分与去噪：用局部差分隐私保护大型语言模型推理

通过在客户端进行模型分割和加噪声处理，Split-N-Denoise（SnD）框架有效地优化了大型语言模型（LLMs）的隐私和实用性之间的权衡，为客户提供了本地隐私保护的解决方案。

Oct, 2023