联邦学习系统中对抗训练模型的隐私泄露

CVPRFeb, 2022

联邦学习系统中对抗训练模型的隐私泄露

Privacy Leakage of Adversarial Training Models in Federated Learning Systems

Jingyang Zhang, Yiran Chen, Hai Li

TL;DR本文研究 Adversarial Training 在保护模型免受对抗攻击的同时可能会使模型更容易受到隐私攻击，并设计了一种新型的隐私攻击方法，在使用 Federated Learning 系统时，攻击者可以利用我们的方法准确重构用户的私人训练图像，而无须关心训练批次的大小。

Abstract

adversarial training (AT) is crucial for obtaining deep neural networks that are robust to adversarial attacks, yet recent works found that it could also make models more vulnerable to privacy attacks. In this wo

adversarial training robustness privacy attacks federated learning reconstruction

发现论文，激发创造

联邦学习中的隐私与鲁棒性：攻击与防御

在这篇综述性论文中，作者重点介绍基于联邦学习的系统在应对恶意攻击、保障隐私方面所面临的问题，特别关注如何提高系统鲁棒性和隐私保护措施。

Dec, 2020

联邦学习的威胁：综述

本文提供了一种简洁的介绍联邦学习的概念，并使用一个唯一的分类法来涵盖针对联邦学习的威胁模型和两个主要的攻击方法：1) 污染攻击和 2) 推理攻击，探讨了向更强大的隐私保护方向发展的有前途的未来研究方向.

Mar, 2020

联邦学习隐私：攻击、防御、应用和政策环境 - 一项调研

深度学习和联邦学习是当前研究的重点，其中涉及隐私保护技术、隐私攻击以及隐私法规的探讨。

May, 2024

联邦学习隐私攻击效率研究

在这项研究中，我们从效率的角度研究了联邦学习中的隐私攻击，并提出了一种提高联邦学习中隐私攻击效率的框架（EPAFL）。通过系统评估代表性的联邦学习隐私攻击的计算成本，我们发现有很高的优化效率的潜力。我们还提出了三种早停技术来有效地减少这些隐私攻击的计算成本。在基准数据集上进行的实验表明，我们提出的方法可以显著降低计算成本，并保持与现有联邦学习隐私攻击方法相当的攻击成功率。我们把代码放在 GitHub 上，链接在这个 URL 中。

Apr, 2024

FLTrojan: 通过选择性重量篡改对联邦语言模型进行的隐私泄漏攻击

我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现：一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露，二是通过篡改模型的选择权重，可以加剧隐私泄露，并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据，甚至无需服务器的任何合作。我们的最佳方法提高了成员推理召回率 29%，可达到 70% 的私密数据重构，显然优于现有的攻击方法，其对对手能力有更强的假设。

Oct, 2023

通信受限联合学习中的对抗训练

本研究旨在研究在联合学习环境下使用对抗性训练的可行性，提出了一种名为 FedDynAT 的算法，通过实验表明，该算法显着提高了自然和对抗准确性，并通过减少模型漂移来改善了模型收敛时间。

Mar, 2021

Decepticons：损坏变形金刚在语言模型联邦学习中侵犯隐私

提出了一种攻击机制可在 Federated Learning 中，通过恶意参数向量直接攻击文本应用程序，利用 Transformer 架构和标记嵌入技术提取标记和位置嵌入来检索高保真文本，使得历史上抵抗隐私攻击的文本 Federated Learning 变得比以前更加脆弱。

Jan, 2022

联邦大型语言模型中的隐私泄漏分析

我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

Mar, 2024

Gradient-Leaks: 理解和控制联邦学习中的去匿名化

本文介绍了联邦学习（FL）系统，探讨了通过个人设备（例如智能手机）收集的大规模用户数据进行机器学习（ML）模型的训练，以及其匿名用户设备共享训练信息的核心部分，还讨论了利用数据混合等手段防范匿名化攻击。

May, 2018

理解联邦学习中的对抗迁移

我们研究了一个新颖而实用的情境中的弹性和安全问题：一组恶意客户端通过伪装身份和表现为良性客户端，在训练期间对模型造成影响，并且在训练之后揭示他们的对手位置以进行可转移的对抗攻击，这些数据通常是 FL 系统训练时使用的数据子集。我们的目标是全面了解 FL 系统在这种实际情境中面临的挑战，包括各种配置。我们注意到这种攻击是可能的，但是与其在干净图像上的准确度相当时，联邦模型比其集中式对应物更为稳健。通过我们的研究，我们假设这种稳健性来自两个因素：分布式数据上的分散训练和平均操作。我们从实证实验和理论分析的角度提供证据。我们的工作对于理解联邦学习系统的稳健性具有意义，并对联邦学习应用提出了实际问题。

Oct, 2023