在联邦学习中利用语言模型的汇聚层输入:超越梯度和先验的隐私攻击
本文提出了一个原则性框架来评估和比较不同形式的客户隐私泄漏攻击。我们提供了正式和实验分析表明,攻击者可以通过分析本地训练的共享参数更新(例如,本地梯度或权重更新向量)来重构私有本地训练数据。该论文还分析了联邦学习中不同超参数配置和攻击算法设置对攻击效果和代价的影响,并且给出了在使用通信高效的FL协议时不同梯度压缩比下客户隐私泄漏攻击的有效性的测量、评估和分析。 最后,我们提供了一些初步的缓解策略,以突出提供系统化的攻击评估框架来深入了解联邦学习中各种形式的客户隐私泄漏威胁并发展攻击缓解的理论基础。
Apr, 2020
这项研究介绍了一种基于最小但恶意修改的共享模型架构的新威胁模型,使服务器能够直接从梯度更新中获取用户数据的逐字副本,即使是在大批量情况下的用户数据也能被这些略有修改的模型重构。
Oct, 2021
我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现:一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露,二是通过篡改模型的选择权重,可以加剧隐私泄露,并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据,甚至无需服务器的任何合作。我们的最佳方法提高了成员推理召回率29%,可达到70%的私密数据重构,显然优于现有的攻击方法,其对对手能力有更强的假设。
Oct, 2023
我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究,从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击,揭示了包括BERT、RoBERTa、DistilBERT和OpenAI的GPT在多个真实世界的语言数据集中存在的重大隐私漏洞,并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。
Mar, 2024
通过引入联邦学习(FL)在辱骂语言识别中的上下文中,我们提出了一种保护用户隐私的去中心化架构,用于辨别网上的辱骂语言。在四个公开可用的英语基准数据集(AHSD、HASOC、HateXplain、OLID)上,我们对多个深度学习模型进行了训练,并进行了详细的性能评估。同时,我们也展示了初步的英语和西班牙语跨语言实验。我们证明了所提出的模型融合方法在所有数据集上优于基准方法,并且能够保护隐私。
Apr, 2024
该研究论文介绍了一种关于Gradient Inversion Attacks的调查和分类法,强调了联邦学习威胁模型,特别是恶意服务器和客户端情况下的攻击方法和防御策略。
May, 2024
本研究解决了联邦学习中隐私攻击有效性的问题,尽管已有多种攻击算法,但是否能在现实环境中有效提取用户私密数据仍不确定。通过对相关文献的分析和在真实联邦学习环境中的实验,我们发现目前的隐私攻击算法在实际应用中难以突破用户数据隐私,这表明隐私攻击的难度超出预期。
Sep, 2024