在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习
本文研究了如何使用差分隐私技术来保护联邦学习中的隐私和鲁棒性,评估了局部差分隐私(LDP)和中心差分隐私(CDP)技术的可行性和有效性。实验证明,这两个差分隐私技术都可以有效防止后门攻击,并且较其他鲁棒性防御更加有效。同时,差分隐私还可以减轻白盒成员推理攻击。然而,这两个技术都无法防御属性推理攻击。
Sep, 2020
本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案,该方案采用 Sparsified Model Perturbation (SMP) 技术,在保持高模型准确性的同时,提供客户端级差分隐私保证,并使用 Renyi DP 提供紧密的隐私分析,并证明了 Fed-SMP 收敛性,通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。
Feb, 2022
研究了在用户级差分隐私保证下联邦学习模型性能下降的原因,提出了两种技术:有界本地更新规则化和本地更新稀疏化,以提高模型质量。实验证明,我们的框架显著改善了联邦学习在用户级差分隐私保证下的隐私效用权衡。
Mar, 2022
DP-FedSAM是一种新的DPFL算法,它利用梯度扰动来减轻DP的负面影响,并整合SAM优化器来生成具有更好稳定性和权重扰动鲁棒性的本地平坦模型,从而提高性能并提供隐私保证。
Mar, 2023
在资源受限的情况下重新考虑差分隐私联邦学习的框架,并分析其在收敛性方面的情况,提出了自适应本地步差分隐私联邦学习(ALS-DPFL)算法。通过在FashionMNIST和CIFAR-10数据集上的实验,相对于以往的工作,我们取得了相当良好的性能。
Aug, 2023
在联邦学习中,差分隐私被用于保护数据隐私和提高模型效用,然而,在具有异质性要求和客户端批次/数据集大小差异的情况下,传统的聚合策略会降低效用。本文提出了一种名为Robust-HDP的方法,通过有效估计客户端模型更新中的噪声水平并显著减少聚合模型更新中的噪声水平,来提高效用和收敛速度,并对客户端的恶意行为进行安全处理。实验结果和理论分析验证了Robust-HDP的有效性。
Jun, 2024
本研究解决了在差分隐私联邦学习(DPFL)中客户隐私需求异质性的问题,该问题影响到客户选择的效率和模型性能。通过对DPFL的收敛性分析,提出了一种基于偏见客户选择的算法(DPFL-BCS),能够有效优化客户选择过程。实验结果表明,DPFL-BCS在模型实用性方面显著优于最先进的基线方法。
Aug, 2024
本研究针对联邦学习中隐私保护不足的问题展开,探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法,论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界,以及 Noisy-FedProx 方法的稳定隐私下界,为联邦学习的隐私保护提供了理论支持,并可推广应用至其他差分隐私分析框架。
Aug, 2024
本研究解决了现有差分隐私联邦学习(DPFL)方法在数据异构环境下模型效用严重下降的问题。我们提出了一种新颖的DPFL方法DP$^2$-FedSAM,结合个性化部分模型共享和敏感度感知最小化优化器,有效提高了模型效用,同时保持隐私保护。实验结果表明,该方法在隐私与效用平衡方面优于现有方法,尤其在异构数据设置中表现突出。
Sep, 2024