边缘网络通信延迟中的联邦学习

MMAug, 2020

Federated Learning with Communication Delay in Edge Networks

Frank Po-Chen Lin, Christopher G. Brinton, Nicolò Michelusi

TL;DR本研究提出了一种名为 “FedDelAvg” 的延迟加权算法，用于解决分布式机器学习模型训练中网络边缘设备之间的通信延迟问题，并通过理论分析和实验证明，在优化加权方案以考虑延迟的情况下，FedDelAvg 算法在收敛速度上取得了显著改善。

Abstract

federated learning has received significant attention as a potential solution for distributing machine learning (ML) model training through edge networks. This work addresses an important consideration of

federated learning edge networks communication delays feddelavg convergence speed

发现论文，激发创造

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

异步联邦学习中实现线性加速

我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

Feb, 2024

FedFog: 基于网络感知优化的无线雾云联合学习

本文通过提出一种基于联邦平均的高效 FL（FedFog）算法，结合一种新型的面向网络的 FL 优化问题，提高了资源利用率并在保证学习精度的同时，通过采用用户聚合策略，缓解慢用户的影响，并减小了时间开销。对多项真实 FL 任务的数值结果进行了广泛的理论收敛验证和实际应用展示。

Jul, 2021

无线通信网络上联邦学习的延迟最小化

本文研究了无线通信网络上联邦学习中的延迟最小化问题，提出了一种基于二分搜索算法的优化方案，模拟实验表明所提出的算法相比传统的联邦学习方法可以将延迟降低了 27.3%。

Jul, 2020

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

通过无线计算进行联邦学习

提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

Dec, 2018

联邦学习中借鉴低效客户的学习

现有联邦学习算法在从客户端设备中学习该设备返回具有显著时间延迟的模型更新方面表现如何？能否有效学习来自于计划后几分钟、几小时或几天才回报的客户端？本研究通过基于真实应用的蒙特卡洛模拟来回答这些问题。我们研究了 FedAvg 和 FedAdam 等同步优化算法，以及异步联邦缓冲算法 FedBuff，并观察到所有这些现有方法在学习严重延迟的客户端方面都存在困难。为了改善这种状况，我们进行了修改实验，包括蒸馏正则化和模型权重的指数移动平均。最后，我们提出了基于蒸馏和平均的两种新算法 FARe-DUST 和 FeAST-on-MSG。通过对 EMNIST、CIFAR-100 和 StackOverflow 基准联邦学习任务的实验，证明我们的新算法在延迟严重的客户端方面优于现有算法，并在训练时间和总体准确性之间提供更好的权衡。

Mar, 2024

无线联邦学习与优化

使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

Oct, 2023

带噪声通信的鲁棒联邦学习

本研究提出一种鲁棒的联邦学习方案，通过并行优化、正则化等方法减小噪声影响，并从理论角度分析了其收敛性和准确性改善，仿真实验进一步验证了该方案的有效性。

Nov, 2019

非独立同分布数据边缘设备异步在线联邦学习

本文提出了一种异步在线联邦学习（ASO-Fed）框架，在其中，边缘设备使用连续的流本地数据进行在线学习，而中央服务器从客户端聚合模型参数，我们的框架以异步方式更新中央模型，以应对异构边缘设备的计算负载变化、滞后或丢失的挑战，我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验，结果展示了该模型的快速收敛和良好的预测性能。

Nov, 2019