多层原型的动态异构联邦学习
本文提出名为HeteroFL的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强FL训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高FL训练的计算和通信效率。
Oct, 2020
本研究提出Continual Federated Learning(CFL)框架来处理时变异构数据,该框架可以从过去的本地数据集中提取信息和逼近本地目标函数,从而比之前的FL方法在复杂和现实场景下具有更快的收敛速度。
Dec, 2021
本论文提出了一个数据异构鲁棒的联邦学习方法——FedGSP,该方法使用动态序列-并行协作训练的新概念,通过将FL客户端分配到同质组中最小化组与组之间的整体分布差异,增加并行度并通过一种新颖的Inter-Cluster Grouping (ICG)算法来辅助分配,该算法利用重心等价定理简化NP难问题,实验结果表明FedGSP相比七种现有方法平均提高了3.7%的准确率,并将训练时间和通信成本降低了90%以上。
Jan, 2022
提出了一种名为Heterogeneous Self-supervised Federated Learning(Hetero-SSFL)的统一框架,可以在异构客户端上进行协作表示学习,同时解决了系统异质性和标记数据匮乏等问题,并在非凸目标的异构性设置中提供了收敛保证,而且比现有方法表现更佳。
May, 2022
ProtoFSSL是一种新颖的基于原型网络的半监督FL方法,它通过轻量级原型实现客户端之间的知识共享,减少了通信和计算成本,并在多个数据集上实现了更高的准确性。
May, 2022
本文提出了一种名为FedNH的新方法,通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。
Dec, 2022
在分布式机器学习技术中,联邦学习(FL)要求客户端在边缘服务器上协同训练共享模型,而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性,并通过实验结果表明,在MNIST和Fashion-MNIST上与最流行的基准FedAvg相比,我们的方法分别取得了3.3%和8.9%的平均测试准确率提升,而且在异质设置下具有快速收敛速度。
Jul, 2023
异构联邦学习领域中,关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念,并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外,我们探讨了现有最先进的方法如何应对异构联邦学习的异质性,并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后,本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后,本文讨论了目前存在的开放问题和未来研究方向,旨在推动异构联邦学习的进一步发展。
May, 2024
本研究针对联邦学习中数据层异构性的问题,提出了一种新的联邦原型修正方法与个性化相结合的方案,称为偏斜异构联邦学习(SHFL)。该方法通过构建平衡的决策边界和修正经验原型,显著提高了个性化与普适性的平衡表现,超越了当前的先进技术。
Aug, 2024
本研究针对联邦学习中不同客户端数据异构性导致的性能问题,提出了一种改进的算法——联邦原型学习聚类收敛(FedPLCC)。该方法通过引入加权原型和优化的原型损失函数,显著提高了模型的分类精度,尤其在多个数据集上的评估结果均优于现有方法,具有重要的应用潜力。
Sep, 2024