高效的 Split-Mix 联邦学习:面向按需和就地定制
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
提出了 FedSplitX,一种面对异构系统的新型联合学习框架,能够有效地利用服务器资源来训练大模型,从而在模型性能上优于基准方法。
Oct, 2023
该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法,解决异构设备下的全局模型训练问题,并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移,实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。
Feb, 2022
我们提出了一种高效的分布式联合学习算法(ESFL),通过在服务器和终端设备之间将模型分割为不同的子模型,综合考虑用户异构性,同时优化用户端工作量和服务器端计算资源分配,以充分利用中央服务器的强大计算能力。与标准的联合学习、分割学习和分割联合学习相比,通过大量模拟实验证明我们的 ESFL 方法显著提高了效率。
Feb, 2024
动态分层联邦学习系统可以通过利用分层学习的概念,将全局模型的不同部分分配给不同层次的客户端,并通过基于本地损失的训练使每个客户端可以并行更新模型,从而减少资源受限设备上计算和通信的需求,缓解迟到问题,从而显著减少训练时间并保持模型准确性。
Dec, 2023
本文提出名为 HeteroFL 的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高 FL 训练的计算和通信效率。
Oct, 2020
本研究提出一种新方法来解决联邦学习中的问题,并在本文所述的公开基准数据集(如 Femnist)以及自己收集的数据集(即流量分类)上验证了该方法的有效性,结果表明这种方法在极端情况下具有显著的优势。
Nov, 2020
本文提出了一种个性化的联邦学习(CFL)系统,通过特殊设计的全局模型为每个客户定制个性化模型,采用在线训练的模型搜索辅助器和新型聚合算法,解决 FL 在多个维度上的异质性问题。实验证明,CFL 在 FL 训练和边缘推断方面具有全栈优势,并显著改进了模型准确性(在非异构环境中高达 7.2%,在异构环境中高达 21.8%)、效率和公平性。
Feb, 2023
我们介绍了一种在硬件受限环境中用于实现客户端适应性的隐私保护、资源高效的联邦学习概念。通过在源数据上进行服务器模型预训练,并在低端客户端上对目标数据进行细调,我们的方法通过从源域和目标域数据近似的实例级特征统计的概率混合来简化本地客户端适应过程。适应参数传回到中央服务器后进行全局聚合,初步结果表明我们的方法在保持竞争性性能的同时降低了计算和传输成本。
Dec, 2023
边缘网络和移动计算的发展需要设计新的分布式机器学习机制来服务于异构数据源。本文提出了一种多任务分割学习(MTSL)框架,结合了分割学习(SL)的优点和分布式网络架构的灵活性,以实现高效处理异构数据源的多任务学习,具有快速收敛、低通信成本和对异质数据的鲁棒性等优势。
May, 2024