Jan, 2022

Decepticons：损坏变形金刚在语言模型联邦学习中侵犯隐私

PDF
TL;DR提出了一种攻击机制可在 Federated Learning 中，通过恶意参数向量直接攻击文本应用程序，利用 Transformer 架构和标记嵌入技术提取标记和位置嵌入来检索高保真文本，使得历史上抵抗隐私攻击的文本 Federated Learning 变得比以前更加脆弱。
federated learningprivacyfl attackstransformer architecturetext applications
发现论文，激发创造
  • FLTrojan: 通过选择性重量篡改对联邦语言模型进行的隐私泄漏攻击

    我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现：一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露，二是通过篡改模型的选择权重，可以加剧隐私泄露，并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据，甚至无需服务器的任何合作。我们的最佳方法提高了成员推理召回率 29%，可达到 70% 的私密数据重构，显然优于现有的攻击方法，其对对手能力有更强的假设。

    Oct, 2023

  • 好奇心放任时：联邦学习并不具备隐私性

    在联邦学习中，通过使用陷阱权重进行数据重建攻击，甚至可以从梯度中恢复用户数据，从而破坏了其看似隐私保护的优势。

    Dec, 2021

  • 在联邦学习中利用语言模型的汇聚层输入：超越梯度和先验的隐私攻击

    该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。

    Dec, 2023

  • 联邦大型语言模型中的隐私泄漏分析

    我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

    Mar, 2024

  • Gradient-Leaks: 理解和控制联邦学习中的去匿名化

    本文介绍了联邦学习（FL）系统，探讨了通过个人设备（例如智能手机）收集的大规模用户数据进行机器学习（ML）模型的训练，以及其匿名用户设备共享训练信息的核心部分，还讨论了利用数据混合等手段防范匿名化攻击。

    May, 2018

  • 联邦学习隐私：攻击、防御、应用和政策环境 - 一项调研

    深度学习和联邦学习是当前研究的重点，其中涉及隐私保护技术、隐私攻击以及隐私法规的探讨。

    May, 2024

  • 增强大规模异质联邦学习的展望与转换器

    分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

    Aug, 2023

  • 联邦学习中的隐私与鲁棒性：攻击与防御

    在这篇综述性论文中，作者重点介绍基于联邦学习的系统在应对恶意攻击、保障隐私方面所面临的问题，特别关注如何提高系统鲁棒性和隐私保护措施。

    Dec, 2020

  • 联邦学习的威胁：综述

    本文提供了一种简洁的介绍联邦学习的概念，并使用一个唯一的分类法来涵盖针对联邦学习的威胁模型和两个主要的攻击方法：1) 污染攻击和 2) 推理攻击，探讨了向更强大的隐私保护方向发展的有前途的未来研究方向.

    Mar, 2020

  • 从表示的角度可证明抵御联邦学习中的隐私泄露

    本文针对联邦学习系统存在的隐私泄露问题，提出一种学习数据扰动来防止模型逆推攻击的防御策略，实验证明该方法在防御 DLG 和 GS 攻击的同时能够将数据重构误差提高 160 倍以上，有效提升联邦学习系统的隐私保护性能。

    Dec, 2020