Dec, 2023

在联邦学习中利用语言模型的汇聚层输入：超越梯度和先验的隐私攻击

PDF
TL;DR该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。
federated learningprivacy attackslanguage modelsbatch sizestext classification
发现论文，激发创造
  • FLTrojan: 通过选择性重量篡改对联邦语言模型进行的隐私泄漏攻击

    我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现：一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露，二是通过篡改模型的选择权重，可以加剧隐私泄露，并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据，甚至无需服务器的任何合作。我们的最佳方法提高了成员推理召回率 29%，可达到 70% 的私密数据重构，显然优于现有的攻击方法，其对对手能力有更强的假设。

    Oct, 2023

  • Decepticons：损坏变形金刚在语言模型联邦学习中侵犯隐私

    提出了一种攻击机制可在 Federated Learning 中，通过恶意参数向量直接攻击文本应用程序，利用 Transformer 架构和标记嵌入技术提取标记和位置嵌入来检索高保真文本，使得历史上抵抗隐私攻击的文本 Federated Learning 变得比以前更加脆弱。

    Jan, 2022

  • 联邦大型语言模型中的隐私泄漏分析

    我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

    Mar, 2024

  • 联邦学习语言模型中的私有文本恢复

    本文介绍了一种新颖的攻击方法 FILM，用于联邦学习过程中语言模型的训练，成功恢复单句和多句的私有文本数据，并讨论了三种防御方法。

    May, 2022

  • 垂直联合大型语言模型的输入重构攻击

    最近，由于 ChatGPT 的出现，大型语言模型（LLMs）受到学术界和公众的广泛关注。然而，隐私问题限制了它们在现实生活中的应用。本文探讨了垂直联邦学习（VFL）在保护用户输入方面的失败，并提出了加强垂直联邦 LLMs 隐私的几种可能解决方案。

    Nov, 2023

  • 一种隐私保护冒犯性语言识别的联邦学习方法

    通过引入联邦学习（FL）在辱骂语言识别中的上下文中，我们提出了一种保护用户隐私的去中心化架构，用于辨别网上的辱骂语言。在四个公开可用的英语基准数据集（AHSD、HASOC、HateXplain、OLID）上，我们对多个深度学习模型进行了训练，并进行了详细的性能评估。同时，我们也展示了初步的英语和西班牙语跨语言实验。我们证明了所提出的模型融合方法在所有数据集上优于基准方法，并且能够保护隐私。

    Apr, 2024

  • 联邦学习隐私：攻击、防御、应用和政策环境 - 一项调研

    深度学习和联邦学习是当前研究的重点，其中涉及隐私保护技术、隐私攻击以及隐私法规的探讨。

    May, 2024

  • 联邦学习中的隐私与鲁棒性：攻击与防御

    在这篇综述性论文中，作者重点介绍基于联邦学习的系统在应对恶意攻击、保障隐私方面所面临的问题，特别关注如何提高系统鲁棒性和隐私保护措施。

    Dec, 2020

  • 好奇心放任时：联邦学习并不具备隐私性

    在联邦学习中，通过使用陷阱权重进行数据重建攻击，甚至可以从梯度中恢复用户数据，从而破坏了其看似隐私保护的优势。

    Dec, 2021

  • 公共大型语言模型能帮助私人跨设备联邦学习吗？

    本文研究基于大规模公共数据和语言模型的差分隐私联邦学习，提出了一种新的分布匹配算法，以样本高效为目标，实现了基于公共数据训练私有模型的高效和有效的方法。

    May, 2023