联邦学习中模型的深度泄漏
本文提出了一个原则性框架来评估和比较不同形式的客户隐私泄漏攻击。我们提供了正式和实验分析表明,攻击者可以通过分析本地训练的共享参数更新 (例如,本地梯度或权重更新向量) 来重构私有本地训练数据。该论文还分析了联邦学习中不同超参数配置和攻击算法设置对攻击效果和代价的影响,并且给出了在使用通信高效的 FL 协议时不同梯度压缩比下客户隐私泄漏攻击的有效性的测量、评估和分析。 最后,我们提供了一些初步的缓解策略,以突出提供系统化的攻击评估框架来深入了解联邦学习中各种形式的客户隐私泄漏威胁并发展攻击缓解的理论基础。
Apr, 2020
本文针对联邦学习系统存在的隐私泄露问题,提出一种学习数据扰动来防止模型逆推攻击的防御策略,实验证明该方法在防御 DLG 和 GS 攻击的同时能够将数据重构误差提高 160 倍以上,有效提升联邦学习系统的隐私保护性能。
Dec, 2020
我们提出了一种用于大型语言模型的联邦学习框架 FL-GLM,通过在本地客户端放置输入块和输出块以防止来自服务器的嵌入梯度攻击,使用密钥加密来防止来自对端客户端的逆向工程攻击,并采用客户端批处理或服务器分层等优化方法来提高训练效率。通过在 NLU 和生成任务上的实验结果,证明了 FL-GLM 与集中式 chatGLM 模型具有可比较的指标,验证了我们的联邦学习框架的有效性。
Jun, 2024
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
该研究论文研究了联邦学习中的数据隐私问题,提出了一种从共享梯度或权重中恢复训练数据的方法,并使用方法在 CIFAR-10 和 ImageNet 等图像基准上进行了实验,超过了现有的 GradInversion 技术。
Oct, 2021
分布式学习中的联邦学习存在安全和隐私挑战,本研究针对各类机器学习模型,包括大型语言模型,提出了安全和隐私挑战的综合分类,重点关注聚合器和参与者的攻击,包括投毒攻击、后门攻击、成员推断攻击、生成对抗网络攻击和差分隐私攻击,同时提出了未来研究的新方向,旨在强化联邦学习系统以应对新兴安全风险并保护分布式学习环境中的敏感数据隐私。
Jul, 2023
联邦学习是用于分散式物联网设备训练机器学习模型的默认方法之一。但是,本研究表明,联邦学习中共享的模型权重可能泄露物联网设备的本地数据分布信息,并且模型权重注入噪声无法有效防止数据泄露。
Aug, 2023
本文提出了一种基于区块链的安全联邦学习框架,通过构建智能合约,自动执行防御策略,识别恶意攻击参与者,同时采用本地差分私有化技术,有效地防止中毒和成员推断攻击。
May, 2020