Oct, 2023

FLTrojan: 通过选择性重量篡改对联邦语言模型进行的隐私泄漏攻击

PDF
TL;DR我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现：一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露，二是通过篡改模型的选择权重，可以加剧隐私泄露，并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据，甚至无需服务器的任何合作。我们的最佳方法提高了成员推理召回率 29%，可达到 70% 的私密数据重构，显然优于现有的攻击方法，其对对手能力有更强的假设。
federated learningprivacy leakagelanguage modelingmodel snapshotsprivacy-sensitive user data
发现论文，激发创造
  • Decepticons：损坏变形金刚在语言模型联邦学习中侵犯隐私

    提出了一种攻击机制可在 Federated Learning 中，通过恶意参数向量直接攻击文本应用程序，利用 Transformer 架构和标记嵌入技术提取标记和位置嵌入来检索高保真文本，使得历史上抵抗隐私攻击的文本 Federated Learning 变得比以前更加脆弱。

    Jan, 2022

  • 联邦大型语言模型中的隐私泄漏分析

    我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

    Mar, 2024

  • 联邦学习中模型的深度泄漏

    本文提出了两个新的框架，证明在联合学习的情况下传输模型权重也可能会泄露客户端的本地数据，同时介绍了两种对抗措施和评估其保护效果。

    Jun, 2022

  • 在联邦学习中利用语言模型的汇聚层输入：超越梯度和先验的隐私攻击

    该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。

    Dec, 2023

  • 好奇心放任时：联邦学习并不具备隐私性

    在联邦学习中，通过使用陷阱权重进行数据重建攻击，甚至可以从梯度中恢复用户数据，从而破坏了其看似隐私保护的优势。

    Dec, 2021

  • 联邦学习中评估渗漏攻击的框架

    本文提出了一个原则性框架来评估和比较不同形式的客户隐私泄漏攻击。我们提供了正式和实验分析表明，攻击者可以通过分析本地训练的共享参数更新 (例如，本地梯度或权重更新向量) 来重构私有本地训练数据。该论文还分析了联邦学习中不同超参数配置和攻击算法设置对攻击效果和代价的影响，并且给出了在使用通信高效的 FL 协议时不同梯度压缩比下客户隐私泄漏攻击的有效性的测量、评估和分析。 最后，我们提供了一些初步的缓解策略，以突出提供系统化的攻击评估框架来深入了解联邦学习中各种形式的客户隐私泄漏威胁并发展攻击缓解的理论基础。

    Apr, 2020

  • 联邦学习中的隐私与鲁棒性：攻击与防御

    在这篇综述性论文中，作者重点介绍基于联邦学习的系统在应对恶意攻击、保障隐私方面所面临的问题，特别关注如何提高系统鲁棒性和隐私保护措施。

    Dec, 2020

  • 一种隐私保护冒犯性语言识别的联邦学习方法

    通过引入联邦学习（FL）在辱骂语言识别中的上下文中，我们提出了一种保护用户隐私的去中心化架构，用于辨别网上的辱骂语言。在四个公开可用的英语基准数据集（AHSD、HASOC、HateXplain、OLID）上，我们对多个深度学习模型进行了训练，并进行了详细的性能评估。同时，我们也展示了初步的英语和西班牙语跨语言实验。我们证明了所提出的模型融合方法在所有数据集上优于基准方法，并且能够保护隐私。

    Apr, 2024

  • 联邦学习的威胁：综述

    本文提供了一种简洁的介绍联邦学习的概念，并使用一个唯一的分类法来涵盖针对联邦学习的威胁模型和两个主要的攻击方法：1) 污染攻击和 2) 推理攻击，探讨了向更强大的隐私保护方向发展的有前途的未来研究方向.

    Mar, 2020

  • Gradient-Leaks: 理解和控制联邦学习中的去匿名化

    本文介绍了联邦学习（FL）系统，探讨了通过个人设备（例如智能手机）收集的大规模用户数据进行机器学习（ML）模型的训练，以及其匿名用户设备共享训练信息的核心部分，还讨论了利用数据混合等手段防范匿名化攻击。

    May, 2018