使用类原型在联邦学习中解决数据异构性
本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法,使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化,实验结果表明,具有相似标签数据的客户端共享类似的个性化参数。
May, 2021
本文提出了一种名为上下文化泛化(CG)的新概念,旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架,在多个现实世界的数据集上进行了实验,证明了该方法在测试精度上显著优于最先进的方法。
Jun, 2021
本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。
Nov, 2021
我们研究了数据异质性对联邦学习的影响,发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现,当前设置中的数据异质性不一定是问题,事实上,它对FL参与者有益。
Sep, 2022
利用全局特征知识进行本地表示学习的显式本地-全局特征对齐,以及针对每个客户端量化分类器组合的优点,导出一个优化问题来估计最优权重,有效地处理异构数据场景。
Jun, 2023
通过减少客户端之间的异质性,本研究提出了一种传递知识的方法,利用客户端专用生成器为每个客户端生成样本,以减少与其他客户端模型的冲突,从而构建出具有良好泛化能力的全局模型。
Aug, 2023
FedED是一种新颖的异构联邦学习方法,同时集成了空类别蒸馏和逻辑抑制,有效地解决了数据异质性和标签分布变化导致的类别误判问题。
Jan, 2024
个性化联邦学习中,通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的PFL方法,即类别级联联邦平均(cwFedAVG),该方法在服务器端按类别执行联邦平均(FedAVG),创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布(由深度网络权重的L2-范数导出),加权整合这些全局模型,避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示,cwFedAVG可以与多个现有的PFL方法相媲美甚至更好。值得注意的是,cwFedAVG在概念上简单而计算高效,通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了cwFedAVG如何实现了各自类别分布上的本地模型专业化,同时全局模型捕获了跨客户端的类别相关信息。
Jun, 2024
本研究针对联邦学习中数据层异构性的问题,提出了一种新的联邦原型修正方法与个性化相结合的方案,称为偏斜异构联邦学习(SHFL)。该方法通过构建平衡的决策边界和修正经验原型,显著提高了个性化与普适性的平衡表现,超越了当前的先进技术。
Aug, 2024
本研究针对个性化联邦学习中的类别不平衡问题,提出了一种新的高效算法FedReMa。该算法通过自适应的客户间共学习方法和多样的聚合策略,有效利用不同客户在不同数据类上的专业知识,从而显著提升个性化模型的精度。实验结果表明,FedReMa在解决数据异质性挑战方面具有显著优势。
Nov, 2024