边缘计算中基于抽奖票剪枝的增强隐私效率联邦学习
本文研究基于联邦学习的隐私保护问题,提出了一种局部差分隐私机制,以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明,该机制不仅具有优异的深度学习性能,而且能够提供强大的隐私保证。
Jul, 2020
提出了一种叫作FedPrune的系统,通过剪枝全局模型来解决Federated learning中的系统异构和统计异构所引起的问题,并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能,并与Federated Averaging相比,FedPrune提供了更好的鲁棒性和公平性。
Oct, 2021
本文提出了一种无线边缘私有联邦学习方案PFELS,通过奇异值稀疏化降低通信通信和能源消耗,提高交付速度,保证客户端级别的差分隐私,实现共享全局模型过程中的隐私安全保障。实验结果表明,与现有技术相比,PFELS在保持同等差分隐私保障的同时能提高准确率和节省通信和能源成本。
Apr, 2023
Upcycled-FL是一种新颖的联邦学习框架,应用在每个偶数迭代中的一阶逼近,以在保持隐私的同时提高隐私-准确性平衡,并通过引入扰动机制来保护隐私。实验表明,Upcycled-FL在异构数据上持续优于现有方法,并且平均减少48%的训练时间。
Oct, 2023
提出了一种用于非凸和非平滑联邦学习问题的新型原始-对偶算法,结合双向模型稀疏化和差分隐私,以保证强隐私,通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能,并验证了所有分析结果和特性。
Oct, 2023
我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究,推导出了剪枝模型泄露信息量的信息论上界,并通过实验验证了这些理论发现,结果显示我们提出的PriPrune算法显著改善了隐私和模型性能的平衡。
Oct, 2023
FedMap是一种新颖的方法,通过协作学习逐渐稀疏全局模型,从而提高联邦学习系统的通信效率,适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型,以减少通信开销,避免了参数重新激活问题,实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能,并相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024
本研究针对联邦学习中隐私保护不足的问题展开,探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法,论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界,以及 Noisy-FedProx 方法的稳定隐私下界,为联邦学习的隐私保护提供了理论支持,并可推广应用至其他差分隐私分析框架。
Aug, 2024
本研究解决了现有差分隐私联邦学习(DPFL)方法在数据异构环境下模型效用严重下降的问题。我们提出了一种新颖的DPFL方法DP$^2$-FedSAM,结合个性化部分模型共享和敏感度感知最小化优化器,有效提高了模型效用,同时保持隐私保护。实验结果表明,该方法在隐私与效用平衡方面优于现有方法,尤其在异构数据设置中表现突出。
Sep, 2024