Apr, 2024

FedFa：一种用于联邦学习的完全异步训练范式

PDF
TL;DRFedFa 是一种完全异步的训练范式，通过在服务器上使用少量缓冲结果进行参数更新，可以确保联邦学习的模型收敛并完全消除等待时间，实验证明该方法在 IID 和 Non-IID 场景下相较于同步和半异步策略提高了 6 倍和 4 倍的训练性能，并且保持了较高的准确性。
发现论文，激发创造
  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • FedAST: 分布式异步同时训练

    提出了一个缓冲异步联邦同时训练算法 FedAST，通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题，实验证明与现有同时联邦学习方法相比，能够达到多任务训练时间的最多 46.0% 的减少。

    Jun, 2024

  • FedAT: 一种高性能、通信效率高的异步分层联邦学习系统

    本文提出了一种名为 FedAT 的新颖联邦学习方法，它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响，同时使用加权聚合启发式和基于折线编码的压缩算法，提高了收敛速度和预测性能，并最大程度地减小了通信成本。

    Oct, 2020

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024

  • 非独立同分布数据边缘设备异步在线联邦学习

    本文提出了一种异步在线联邦学习（ASO-Fed）框架，在其中，边缘设备使用连续的流本地数据进行在线学习，而中央服务器从客户端聚合模型参数，我们的框架以异步方式更新中央模型，以应对异构边缘设备的计算负载变化、滞后或丢失的挑战，我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验，结果展示了该模型的快速收敛和良好的预测性能。

    Nov, 2019

  • FAVAS: 带异步客户端的联邦平均

    本文提出了 FAVAS 算法，采用集中式的异步联邦学习方式，在资源有限的环境下训练深度神经网络，并提供算法的收敛保证和实验结果的比较。

    May, 2023

  • SAFA: 一种针对低开销的快速联邦学习的半同步协议

    本文提出 SAFA 半异步联邦学习协议，通过在模型分发、客户端选择和全局聚合的步骤中引入新设计来缓解滞后、崩溃和模型陈旧的影响，以提高效率和改善全局模型的质量，从而在通信成本可接受的情况下缩短联邦循环时间、减少本地资源浪费、提高全局模型的准确性。

    Oct, 2019

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 异步模型更新和时间加权聚合的通信高效联邦深度学习

    该研究提出了一种改进的联邦学习技术，采用同步学习策略和服务器上的时态加权聚合，而异步学习策略中不同深度的神经网络层被归类为浅层和深层，并且深层的参数更新频率低于浅层。并且还介绍了一种时态加权聚合策略，以利用以前训练过的本地模型，从而提高了中央模型的准确性和收敛性。该算法在两个不同的深度神经网络数据集上得出了实证结果，证明了该异步联邦深度学习算法在通信成本和模型准确性方面优于基线算法。

    Mar, 2019

  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019