差分隐私联邦学习中降低横向溢出
本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案,该方案采用 Sparsified Model Perturbation (SMP) 技术,在保持高模型准确性的同时,提供客户端级差分隐私保证,并使用 Renyi DP 提供紧密的隐私分析,并证明了 Fed-SMP 收敛性,通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。
Feb, 2022
研究了在用户级差分隐私保证下联邦学习模型性能下降的原因,提出了两种技术:有界本地更新规则化和本地更新稀疏化,以提高模型质量。实验证明,我们的框架显著改善了联邦学习在用户级差分隐私保证下的隐私效用权衡。
Mar, 2022
通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能,进而减少感知信息泄露,DP-FedSAM算法在DPFL中达到最先进的性能。
May, 2023
在资源受限的情况下重新考虑差分隐私联邦学习的框架,并分析其在收敛性方面的情况,提出了自适应本地步差分隐私联邦学习(ALS-DPFL)算法。通过在FashionMNIST和CIFAR-10数据集上的实验,相对于以往的工作,我们取得了相当良好的性能。
Aug, 2023
在联邦学习中,差分隐私被用于保护数据隐私和提高模型效用,然而,在具有异质性要求和客户端批次/数据集大小差异的情况下,传统的聚合策略会降低效用。本文提出了一种名为Robust-HDP的方法,通过有效估计客户端模型更新中的噪声水平并显著减少聚合模型更新中的噪声水平,来提高效用和收敛速度,并对客户端的恶意行为进行安全处理。实验结果和理论分析验证了Robust-HDP的有效性。
Jun, 2024
本研究解决了在差分隐私联邦学习(DPFL)中客户隐私需求异质性的问题,该问题影响到客户选择的效率和模型性能。通过对DPFL的收敛性分析,提出了一种基于偏见客户选择的算法(DPFL-BCS),能够有效优化客户选择过程。实验结果表明,DPFL-BCS在模型实用性方面显著优于最先进的基线方法。
Aug, 2024
本研究解决了差分隐私联邦学习(DPFL)中噪声对模型准确性造成的损害问题。通过首次探索模型预训练在DPFL中的应用,研究表明头部微调(HT)和全微调(FT)方法显著降低了噪声影响,尤其是在隐私预算紧张或模型规模较大时,HT表现更优。这项工作为DPFL的增强和实际应用扩展提供了新视角。
Aug, 2024
本研究针对联邦学习中隐私保护不足的问题展开,探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法,论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界,以及 Noisy-FedProx 方法的稳定隐私下界,为联邦学习的隐私保护提供了理论支持,并可推广应用至其他差分隐私分析框架。
Aug, 2024
本研究解决了现有差分隐私联邦学习(DPFL)方法在数据异构环境下模型效用严重下降的问题。我们提出了一种新颖的DPFL方法DP$^2$-FedSAM,结合个性化部分模型共享和敏感度感知最小化优化器,有效提高了模型效用,同时保持隐私保护。实验结果表明,该方法在隐私与效用平衡方面优于现有方法,尤其在异构数据设置中表现突出。
Sep, 2024