本文探讨了通过元学习算法为联邦学习实现个性化的可能性。结果表明,联邦平均算法可以被解释为一种元学习算法,并且通过细致的微调,可以得到更准确、更易于个性化的全局模型。
Sep, 2019
本文研究了联邦学习的个性化变种,在Model-Agnostic Meta-Learning框架下,通过个性化Federated Averaging算法,根据不同用户数据的分布差异,探讨其性能的影响。
Feb, 2020
本文提出了一种个性化的联邦学习方法,通过每个客户只与相关客户联合训练模型,实现客户自定义目标分布的最优加权模型组合,且不需要知道任何数据分布或客户相似性的先验知识,该方法在多个联邦学习场景和数据集下表现优异,同时也支持个性化的迁移学习。
Dec, 2020
本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法,使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化,实验结果表明,具有相似标签数据的客户端共享类似的个性化参数。
May, 2021
本文提出了一种名为上下文化泛化(CG)的新概念,旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架,在多个现实世界的数据集上进行了实验,证明了该方法在测试精度上显著优于最先进的方法。
Jun, 2021
研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法,并通过各种基准测试和消融实验证明其优于现有方法,不仅计算效率更高,而且收敛速度高达34.2%。
May, 2022
该研究提出了一种针对非IID数据的个性化联邦学习方法,使用专家混合模型来学习相似的客户,即使在病理性非IID环境中,我们的方法仍然能够比本地模型获得高达4.38%的精度优势。
Jun, 2022
本文介绍了一种名为DyPFL的动态个性化联邦学习技术,将受训练意愿不同的客户纳入考虑,以提高收敛性能。结果表明,该算法可以在各种条件下优于替代个性化方法。
Aug, 2022
研究探讨联邦平均算法对自注意力的影响,发现数据异构性制约了Transformer在联邦学习中的能力,提出一种新的基于Transformer的联邦学习框架FedTP并引入了学习个性化机制来进一步鼓励合作。实验证明,FedTP与学习个性化机制具有非IID情形下最先进的性能。
Nov, 2022
通过提出一种新的联邦学习框架,使得个性化联邦学习可以学习一个强健的全局模型,以在联邦学习系统中对未知的/测试客户端达到与个性化模型相当的性能。
Mar, 2024