本文提出了一种个性化的联邦学习方法,通过每个客户只与相关客户联合训练模型,实现客户自定义目标分布的最优加权模型组合,且不需要知道任何数据分布或客户相似性的先验知识,该方法在多个联邦学习场景和数据集下表现优异,同时也支持个性化的迁移学习。
Dec, 2020
本文研究对个性化Federated Learning进行优化,提出了通用的优化器,应用于现有的针对个性化Federated Learning的目标函数,包括局部SGD、加速坐标下降/加速SVRCD等,得到适用于文献中所有基于强凸个性化FL模型的普适优化理论,提高了通信效率和本地计算效率。
Feb, 2021
本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法,使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化,实验结果表明,具有相似标签数据的客户端共享类似的个性化参数。
May, 2021
研究内容为探讨联邦学习算法中,共享参数和个性化参数同时或交替更新,以及在非凸有限参与的情况下的收敛性分析,实验证明部分个性化模型效果同等于全模型个性化效果,且交替更新算法在一定程度上优于同时更新算法。
Apr, 2022
研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法,并通过各种基准测试和消融实验证明其优于现有方法,不仅计算效率更高,而且收敛速度高达34.2%。
May, 2022
该研究提出了一种针对非IID数据的个性化联邦学习方法,使用专家混合模型来学习相似的客户,即使在病理性非IID环境中,我们的方法仍然能够比本地模型获得高达4.38%的精度优势。
Jun, 2022
本文介绍了一种名为DyPFL的动态个性化联邦学习技术,将受训练意愿不同的客户纳入考虑,以提高收敛性能。结果表明,该算法可以在各种条件下优于替代个性化方法。
Aug, 2022
本文提出了一种名为FedNH的新方法,通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。
Dec, 2022
本文提出了一种名为DFedAlt的个性化联邦学习框架,采用分散的部分模型训练方法,取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数,在点对点的方式构建局部个性化模型,同时采用局部SAM(Sharpness Aware Minimization)优化器来更新共享参数,从而有效地解决了模型共享一致性不足和通信成本过高等问题。
May, 2023
本研究针对联邦学习中数据层异构性的问题,提出了一种新的联邦原型修正方法与个性化相结合的方案,称为偏斜异构联邦学习(SHFL)。该方法通过构建平衡的决策边界和修正经验原型,显著提高了个性化与普适性的平衡表现,超越了当前的先进技术。
Aug, 2024