本文介绍了联邦学习(FL)系统,探讨了通过个人设备(例如智能手机)收集的大规模用户数据进行机器学习(ML)模型的训练,以及其匿名用户设备共享训练信息的核心部分,还讨论了利用数据混合等手段防范匿名化攻击。
May, 2018
提出了一种新的算法,通过差分隐私保护的联邦优化算法来处理联邦学习中的差分攻击问题,能够在只牺牲模型性能的小量代价下保持客户端差分隐私。
Dec, 2017
本文提出了一个原则性框架来评估和比较不同形式的客户隐私泄漏攻击。我们提供了正式和实验分析表明,攻击者可以通过分析本地训练的共享参数更新 (例如,本地梯度或权重更新向量) 来重构私有本地训练数据。该论文还分析了联邦学习中不同超参数配置和攻击算法设置对攻击效果和代价的影响,并且给出了在使用通信高效的 FL 协议时不同梯度压缩比下客户隐私泄漏攻击的有效性的测量、评估和分析。 最后,我们提供了一些初步的缓解策略,以突出提供系统化的攻击评估框架来深入了解联邦学习中各种形式的客户隐私泄漏威胁并发展攻击缓解的理论基础。
Apr, 2020
本研究提出了一种新的基于分布式差分隐私的隐私保护联合学习方法,其可以有效避免联合攻击,以及 “Sybil” 攻击,并给出了相应的安全性证明。在模拟的 5000 个分布式网络客户端上的实验结果表明,该协议执行速度快,学习准确率高,且具有良好的隐私保护性能。
Feb, 2022
通过聚合模型更新,掌握联邦学习中的用户隐私信息可能存在风险,破坏了联邦学习的数据安全,研究展示了一种攻击方法,通过聚合的模型更新重建用户和其私有训练数据之间的联系,属于一种细致入微、平行操作并具有较高灵敏度的推断攻击。
Jun, 2021
本文研究基于联邦学习的隐私保护问题,提出了一种局部差分隐私机制,以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明,该机制不仅具有优异的深度学习性能,而且能够提供强大的隐私保证。
Jul, 2020
本文第一次探索了一种恶意攻击来破坏联邦学习中的用户级别隐私泄漏,并提出一种结合了 GAN 和多任务鉴别器的框架,该框架在客户端标识上具有新颖的识别,使生成器能够恢复用户指定的私有数据。
Dec, 2018
AnoFel 是第一个支持联邦学习中动态参与的私密和匿名框架,它利用密码原语,匿名集合的概念,差分隐私和公共公告板来支持匿名用户注册,以及不可链接和机密模型更新提交。
Jun, 2023
我们展示了在不同类型的数据上,客户端数量和差分隐私机制的增加对模型性能的影响的实证基准,结果显示在分布式和差分隐私设置中,非独立同分布和小数据集的性能降低最为显著。
Feb, 2024
本文研究了在联合学习中,如果服务端是恶意的但试图获得私人数据,会面临什么样的安全聚合漏洞,并提供了一种进一步防御此类恶意服务器的方法,并展示了防御针对已知攻击的有效性。
Nov, 2022