去中心化联邦学习的可证明隐私优势通过分布式优化
本文研究了如何使用差分隐私技术来保护联邦学习中的隐私和鲁棒性,评估了局部差分隐私(LDP)和中心差分隐私(CDP)技术的可行性和有效性。实验证明,这两个差分隐私技术都可以有效防止后门攻击,并且较其他鲁棒性防御更加有效。同时,差分隐私还可以减轻白盒成员推理攻击。然而,这两个技术都无法防御属性推理攻击。
Sep, 2020
本文针对联邦学习系统存在的隐私泄露问题,提出一种学习数据扰动来防止模型逆推攻击的防御策略,实验证明该方法在防御DLG 和 GS攻击的同时能够将数据重构误差提高160倍以上,有效提升联邦学习系统的隐私保护性能。
Dec, 2020
本文讨论分布式数据的非IID性质及其对联邦学习的训练造成的影响,同时对联邦学习与典型集中式梯度下降技术的不同之处进行比较,并在实践中演示样品数量和输出标签分布对联邦学习的影响。此外,本文证明了在模型大小不太大的情况下使用联邦学习框架具有成本优势。
Feb, 2022
Upcycled-FL是一种新颖的联邦学习框架,应用在每个偶数迭代中的一阶逼近,以在保持隐私的同时提高隐私-准确性平衡,并通过引入扰动机制来保护隐私。实验表明,Upcycled-FL在异构数据上持续优于现有方法,并且平均减少48%的训练时间。
Oct, 2023
该论文研究了在分布式样本中进行非参数回归的联邦学习,其中每个样本服务器都遵守不同的差分隐私约束。在考虑到不同服务器的变化样本大小和差分隐私约束的异构设置中,该论文同时考虑了全局和逐点估计,并建立了在Besov空间上的收敛最优速率。通过提出分布式隐私保护估计器并研究其风险性质,该论文还建立了匹配的极小下界,对于全局和逐点估计,在对数因子上与之相符。这些发现揭示了统计准确性与隐私保护之间的权衡,特别是在整个隐私框架中分发数据所带来的损失,除了隐私预算之外。这种洞察力捕捉到了在更大的样本中更容易保持隐私的民间智慧,并探索了在分布式隐私约束下逐点估计和全局估计之间的差异。
Jun, 2024
在集中式系统中的联邦学习(FL)中,本文解决了在受信任和不受信任服务器场景下保护隐私的挑战,分析了这种设置在随机凸优化(SCO)框架中,并设计了一种方法,以确保差分隐私(DP)同时保持同质和异质数据分布的最佳收敛速率。我们基于一种最近的随机优化技术的方法,提供了线性的计算复杂度,与非私有FL方法相当,并减少了梯度混淆。这项工作在各种服务器信任环境中平衡隐私、效率和稳健性,增强了DP在FL中的实用性。
Jul, 2024
本研究针对去中心化优化在隐私和安全方面的新风险进行了探讨,提出了安全的去中心化优化与学习框架和算法的进展。关键发现是隐私保护算法与抗干扰算法相结合,为解决大规模决策问题和训练大型机器学习模型提供了有效保障。
Aug, 2024
本研究针对联邦学习中隐私保护不足的问题展开,探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法,论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界,以及 Noisy-FedProx 方法的稳定隐私下界,为联邦学习的隐私保护提供了理论支持,并可推广应用至其他差分隐私分析框架。
Aug, 2024
本研究解决了联邦学习中隐私攻击有效性的问题,尽管已有多种攻击算法,但是否能在现实环境中有效提取用户私密数据仍不确定。通过对相关文献的分析和在真实联邦学习环境中的实验,我们发现目前的隐私攻击算法在实际应用中难以突破用户数据隐私,这表明隐私攻击的难度超出预期。
Sep, 2024