动态联邦学习:动态通信资源分配的联邦学习
本文提出名为HeteroFL的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强FL训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高FL训练的计算和通信效率。
Oct, 2020
本文提出了FedLin框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战,当客户端的本地损失函数是光滑且强凸的时,FedLin保证线性收敛并最终收敛到全局最小点,并且在压缩比例下仍然保持线性收敛速度。
Feb, 2021
本文提出了一种基于分布式学习的新型算法,能够针对数据异质性问题,有效避免因数据分布不同而导致的本地数据更新差异性,提高模型的全局收敛性和学习效率。与现有算法不同,该算法不需要维护全局状态,适用于任意数量的客户端,能够用于网络边缘设备和移动应用等更典型的应用场景。
Sep, 2022
本文提出了第一个针对不同客户的异构和相关可用性的FedAvg类FL算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed在合成数据集和实际数据集上比AdaFed和F3AST等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
TimelyFL是一个异步的FL框架,它具有自适应的部分训练能力,用于处理异构设备之间的差异和连接不可靠性。实验表明,与现有同类方法相比,它提高了参与率21.13%,收敛率1.28-2.89倍,测试精度提高了6.25%。
Apr, 2023
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.
Jul, 2023
动态分层联邦学习系统可以通过利用分层学习的概念,将全局模型的不同部分分配给不同层次的客户端,并通过基于本地损失的训练使每个客户端可以并行更新模型,从而减少资源受限设备上计算和通信的需求,缓解迟到问题,从而显著减少训练时间并保持模型准确性。
Dec, 2023