Mar, 2024

联邦学习中借鉴低效客户的学习

PDF
TL;DR现有联邦学习算法在从客户端设备中学习该设备返回具有显著时间延迟的模型更新方面表现如何？能否有效学习来自于计划后几分钟、几小时或几天才回报的客户端？本研究通过基于真实应用的蒙特卡洛模拟来回答这些问题。我们研究了 FedAvg 和 FedAdam 等同步优化算法，以及异步联邦缓冲算法 FedBuff，并观察到所有这些现有方法在学习严重延迟的客户端方面都存在困难。为了改善这种状况，我们进行了修改实验，包括蒸馏正则化和模型权重的指数移动平均。最后，我们提出了基于蒸馏和平均的两种新算法 FARe-DUST 和 FeAST-on-MSG。通过对 EMNIST、CIFAR-100 和 StackOverflow 基准联邦学习任务的实验，证明我们的新算法在延迟严重的客户端方面优于现有算法，并在训练时间和总体准确性之间提供更好的权衡。
federated learningclient latencysynchronous optimization algorithmsdistillation regularizationstraggler clients
发现论文，激发创造
  • 边缘网络通信延迟中的联邦学习

    本研究提出了一种名为 “FedDelAvg” 的延迟加权算法，用于解决分布式机器学习模型训练中网络边缘设备之间的通信延迟问题，并通过理论分析和实验证明，在优化加权方案以考虑延迟的情况下，FedDelAvg 算法在收敛速度上取得了显著改善。

    Aug, 2020

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024

  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

    Feb, 2020

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • FedAST: 分布式异步同时训练

    提出了一个缓冲异步联邦同时训练算法 FedAST，通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题，实验证明与现有同时联邦学习方法相比，能够达到多任务训练时间的最多 46.0% 的减少。

    Jun, 2024

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

    我们提出了一种名为 FedLALR 的异构本地 AMSGrad 变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的 FedLALR 方法的有效性，并与我们的理论发现相吻合。

    Sep, 2023

  • 降低轮次数和加入更少聚合高斯噪音的异步联邦学习与差分隐私

    我们提出了一种异步联邦学习算法，通过减少通信次数来降低等待时间和整体网络通信，在强凸目标函数上提供了严格的理论分析并提供了模拟结果。通过添加高斯噪声，我们展示了我们的算法如何变得不同 ially private - 新的定理表明，聚合的高斯噪声显着降低了。

    Jul, 2020

  • 延迟梯度的混合联邦学习算法：迟到的梯度不是灾难

    该研究提出了一种混合联邦学习算法（HFL），通过引入异步更新器和自适应延迟 SGD（AD-SGD）等方法，有效解决了异构优化问题中慢设备所带来的训练效率和学习效果不平衡的问题，且算法收敛速度为 $O (1/t+τ)$。

    Feb, 2021