FedDM:基于迭代分布匹配的通信高效联邦学习
本文提出了一种基于联邦学习的机器学习分布式范例,可以在保护隐私的前提下进行多方联合重新训练共享模型,并通过用户级领域自适应来提高模型精度,实验结果表明在为FL模型强制实施差分隐私界限时,该技术可以更大程度地提升模型的准确性。
Dec, 2019
提出了一种叫作FedPrune的系统,通过剪枝全局模型来解决Federated learning中的系统异构和统计异构所引起的问题,并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能,并与Federated Averaging相比,FedPrune提供了更好的鲁棒性和公平性。
Oct, 2021
本文提出了基于差分隐私均值共享的联邦学习算法FedDPMS,该算法使用变分自编码器在保护隐私的前提下,增强本地数据集合成多样化的数据以避免数据异构性对于联邦学习的负面影响,实验表明FedDPMS算法比其他面向异构数据的联邦学习算法性能更佳,特别适用于深度图像分类任务。
Jun, 2022
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
本文提出了一种新颖的数据均匀采样策略用于联邦学习中,通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习,同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小,实验结果表明FedSampling可以有效提高联邦学习的性能。
Jun, 2023
Upcycled-FL是一种新颖的联邦学习框架,应用在每个偶数迭代中的一阶逼近,以在保持隐私的同时提高隐私-准确性平衡,并通过引入扰动机制来保护隐私。实验表明,Upcycled-FL在异构数据上持续优于现有方法,并且平均减少48%的训练时间。
Oct, 2023
Federated Learning (FL)的研究论文主要讨论了在隐私保护的协作训练中应用小型深度学习模型的新方法以及在FL应用中操作基于transformer模型的必要性,介绍了一种专注于FL应用中计算和通信效率方法的新的分类法,并探讨了当前广泛使用的FL框架的现状以及基于现有FL研究方法的未来研究潜力。
Jan, 2024
FedMap是一种新颖的方法,通过协作学习逐渐稀疏全局模型,从而提高联邦学习系统的通信效率,适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型,以减少通信开销,避免了参数重新激活问题,实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能,并相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024
该研究解决了联邦学习中不同客户端之间数据分布纠缠的问题,限制了联邦学习的广泛应用。作者提出了一种新颖的FedDistr算法,通过稳定的扩散模型解耦和恢复数据分布,使得联邦学习在通信仅需一轮的情况下,能够实现与分布式系统相当的效率。实验证明,FedDistr显著提高了模型的效用和效率,同时确保隐私,优于传统的联邦学习方法。
Oct, 2024