异构环境中加速联邦学习:一种动态分层方法
TiFL 是一种基于层级的联邦学习系统,利用自适应层级选择方法解决传统联邦学习系统中由于资源和数据的异质性带来的进度延迟问题,实验结果表明 TiFL 在各种异质性条件下比传统 FL 的性能更好。
Jan, 2020
本文提出名为 HeteroFL 的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高 FL 训练的计算和通信效率。
Oct, 2020
本文提出了一种名为 FedAT 的新颖联邦学习方法,它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响,同时使用加权聚合启发式和基于折线编码的压缩算法,提高了收敛速度和预测性能,并最大程度地减小了通信成本。
Oct, 2020
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
嵌套联邦学习(NeFL)是一种通用的框架,通过深层次和宽度缩放有效地将模型划分为子模型,解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程(ODEs)的方式,并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验,我们证明了 NeFL 可以显著提高性能,并且与联邦学习领域的最新研究相一致。
Aug, 2023
TimelyFL 是一个异步的 FL 框架,它具有自适应的部分训练能力,用于处理异构设备之间的差异和连接不可靠性。实验表明,与现有同类方法相比,它提高了参与率 21.13%,收敛率 1.28-2.89 倍,测试精度提高了 6.25%。
Apr, 2023
提出一种名为 FedDCT 的新型动态跨层联邦学习方案,旨在增加无线通信网络中的训练准确性和性能。引入分层算法根据特定指标动态将客户端分为不同层次,并为每个层次分配特定的超时阈值以减少所需的训练时间。通过引入跨层客户端选择算法有效地选择层次和参与者,提高模型的精确度而不增加训练时间。模拟实验表明,该方案可以使模型更快收敛并在无线通信网络中达到更高的准确性。
Jul, 2023
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
我们提出了一种无服务器的去中心化联邦互联模型学习(DFML)框架,通过相互学习和循环改变监督和蒸馏信号的量,有效处理模型和数据异构性,并在各种条件下,在收敛速度和全局准确性上优于流行基准。
Feb, 2024
该论文提出了一种基于原型的联邦学习框架,通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能,从而在两个基准数据集上实现了更高的准确性和相对高效的通信。
Mar, 2023