Motley:联邦学习中异构性和个性化基准测试
本文研究了联邦学习的个性化变种,在Model-Agnostic Meta-Learning框架下,通过个性化Federated Averaging算法,根据不同用户数据的分布差异,探讨其性能的影响。
Feb, 2020
本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法,使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化,实验结果表明,具有相似标签数据的客户端共享类似的个性化参数。
May, 2021
本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。
Nov, 2021
本文提出了一种名为FedNH的新方法,通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。
Dec, 2022
基于LoRA调优的计算和通信高效的模型异构个性化联邦学习框架(FedLoRA)为每个联邦学习客户端设计了一个同质化小适配器,从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA在两个真实数据集上的实验表明,它在测试准确性方面比六种最先进的基准方法表现更好,准确性提高了1.35%,计算开销减少了11.81倍,通信成本降低了7.41倍。
Oct, 2023
Pa3dFL是一个增强容量异构模型的新型框架,通过解耦和选择性地在容量异构模型之间共享知识,提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数,并保持通用参数在客户端之间的统一大小并进行直接平均聚合,然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数,最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验,我们的研究结果表明Pa3dFL在不同的异构设置下始终优于基准方法。此外,与基准方法相比,Pa3dFL表现出竞争性的通信和计算效率,突显了它在不利系统条件下的实用性和适应性。
May, 2024
本研究针对联邦学习中数据层异构性的问题,提出了一种新的联邦原型修正方法与个性化相结合的方案,称为偏斜异构联邦学习(SHFL)。该方法通过构建平衡的决策边界和修正经验原型,显著提高了个性化与普适性的平衡表现,超越了当前的先进技术。
Aug, 2024