FedAT: 一种高性能、通信效率高的异步分层联邦学习系统
提出了一种利用辍学技术处理分布式异构设备的异步联邦学习(FL)框架AsyncDrop,有效减少了通信成本和训练时间,提高了非iid FL场景的最终测试精度。
Oct, 2022
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023
我们提出了一种异步高效去中心化联邦学习框架,即AEDFL,它在异构环境中具有三个独特的贡献:首先,我们提出了一种异步的FL系统模型,并使用高效的模型聚合方法来改进FL的收敛性;其次,我们提出了一种动态过期感知的模型更新方法,以实现更高的准确性;第三,我们提出了一种自适应的稀疏训练方法,以降低通信和计算成本,同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验,证明了AEDFL在准确性(高达16.3%)、效率(高达92.9%)和计算成本(高达42.3%)方面的优势。
Dec, 2023
基于时间效率的异步稀疏量化联邦学习(TEASQ-Fed)能够利用边缘设备异步参与训练过程,并通过控制参数选择适当数量的并行边缘设备,进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性,同时利用稀疏化和量化的方法压缩中间数据以加速训练,实验结果显示TEASQ-Fed提高了准确性(高达16.67%)且加快了模型训练(最多两倍速)。
Dec, 2023
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg可以达到与FedAvg相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的AFL算法,从而表明其高可扩展性。
Feb, 2024
在异构环境中,提出了一种新颖的联邦学习训练框架,考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术,有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题,同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小,该框架加快了模型训练速度,同时保留了模型准确性。此外,还引入了改进的联邦学习聚合过程,包括缓冲机制,使异步联邦学习能够像同步学习一样进行操作。另外,在服务器向客户端传输全局模型的过程中进行了优化,减少了通信开销。我们在各种数据集上的实验表明:相对于传统的异步联邦学习和异构联邦学习,我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进;我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。
Mar, 2024
提出了一个缓冲异步联邦同时训练算法 FedAST,通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题,实验证明与现有同时联邦学习方法相比,能够达到多任务训练时间的最多46.0%的减少。
Jun, 2024
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了61%。
Jun, 2024
本研究提出了一种资源自适应异步联邦学习算法(Fed-RAA),通过根据计算和通信能力分配全局模型的片段给不同的参与客户端,从而解决异构资源下的联邦学习问题。该方法在理论上证实了收敛性,并设计了一种基于贪心算法的在线分配策略,与离线策略相比具有可比拟的公平性。通过对MNIST、CIFAR-10和CIFAR-100的实验结果以及对比和消融研究,证明了本研究的优势。据我们所知,该论文是首个具备理论收敛保证的资源自适应异步的基于片段的联邦学习方法。
Jun, 2024