PFID: 面向 LLM 的隐私优先推断委托框架
Prompt2Forget (P2F) 是第一个针对大型语言模型的本地隐私挑战的框架,通过教授大型语言模型遗忘信息的方法,实现模型对敏感信息的遗忘性。实验结果表明 P2F 具有强大的能力,可以模糊大型语言模型的记忆,达到 90%的遗忘性,而无需牺牲其效用。这一发现对于隐私保护领域中的大型语言模型有着深远的影响。
Dec, 2023
该论文提出了使用随机投影进行类别嵌入的保护隐私联邦学习 IPFed 方法,旨在解决现有方法在隐私保护和高准确性方面的困难,并证明其具备与最先进方法相当的学习能力。通过在人脸图像数据集上的实验证明,IPFed 能够在保护个人数据隐私的同时保持最先进方法的准确性。
May, 2024
提出了一个基于服务器 - 客户端架构的隐私保护框架 PDSS,该框架通过逐步蒸馏大型语言模型(LLMs)解决了专业领域应用中的隐私和资源限制问题,引入了指数机制策略和编码器 - 解码器策略以平衡提示隐私和合理性可用性,并在各种文本生成任务中验证了 PDSS 的有效性,同时提升了任务特定 SLM 的性能并优先保护数据隐私。
Jun, 2024
本研究的重点是在数据隐私保护方面,在联邦学习框架下的推荐系统中,提出了一种新的基于同态加密的隐私保护框架,并对这个框架进行了细致地分析和测试。
Sep, 2022
本文提出结合联邦学习和本地差分隐私(LDP)来实现机器学习模型以避免隐私泄露,并借助四种 LDP 机制来扰动车辆生成的梯度,其中 Three-Outputs 机制提高了隐私度同时降低了通信成本,并且本文建立了一个新的混合机制,通过结合 Three-Outputs 和 PM-SUB 提高了算法的性能。
Apr, 2020
通过对视觉编码器的操作,提出了名为 Prompt-Independent Defense(PID)的简单而有效的方法,以保护数据免受 Latent Diffusion Models(LDMs)的侵害,并显著减少计算资源的需求。
Jun, 2024
本文研究基于联邦学习的隐私保护问题,提出了一种局部差分隐私机制,以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明,该机制不仅具有优异的深度学习性能,而且能够提供强大的隐私保证。
Jul, 2020
本文展示了将 transformer 模型中的运算和通信重负荷的操作替换成隐私计算友好的近似可以大大降低私有推理成本,并比先前最先进的 Iron(NeurIPS 2022)获得了 5 倍计算加速和 80% 的通信负担减少,同时保持几乎相同的准确性。
May, 2023