Oct, 2020

FedAT: 一种高性能、通信效率高的异步分层联邦学习系统

PDF
TL;DR本文提出了一种名为 FedAT 的新颖联邦学习方法，它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响，同时使用加权聚合启发式和基于折线编码的压缩算法，提高了收敛速度和预测性能，并最大程度地减小了通信成本。
federated learningasynchronous tiersstraggler problemcommunication bottleneckpolyline-encoding-based compression
发现论文，激发创造
  • 异构环境中加速联邦学习：一种动态分层方法

    动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

    Dec, 2023

  • FedAST: 分布式异步同时训练

    提出了一个缓冲异步联邦同时训练算法 FedAST，通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题，实验证明与现有同时联邦学习方法相比，能够达到多任务训练时间的最多 46.0% 的减少。

    Jun, 2024

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • FedFa：一种用于联邦学习的完全异步训练范式

    FedFa 是一种完全异步的训练范式，通过在服务器上使用少量缓冲结果进行参数更新，可以确保联邦学习的模型收敛并完全消除等待时间，实验证明该方法在 IID 和 Non-IID 场景下相较于同步和半异步策略提高了 6 倍和 4 倍的训练性能，并且保持了较高的准确性。

    Apr, 2024

  • 通信受限联合学习中的对抗训练

    本研究旨在研究在联合学习环境下使用对抗性训练的可行性，提出了一种名为 FedDynAT 的算法，通过实验表明，该算法显着提高了自然和对抗准确性，并通过减少模型漂移来改善了模型收敛时间。

    Mar, 2021

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • FedDCT: 无线通信网络中的动态跨层联邦学习方案

    提出一种名为 FedDCT 的新型动态跨层联邦学习方案，旨在增加无线通信网络中的训练准确性和性能。引入分层算法根据特定指标动态将客户端分为不同层次，并为每个层次分配特定的超时阈值以减少所需的训练时间。通过引入跨层客户端选择算法有效地选择层次和参与者，提高模型的精确度而不增加训练时间。模拟实验表明，该方案可以使模型更快收敛并在无线通信网络中达到更高的准确性。

    Jul, 2023

  • 解决数据异构的无聚合联邦学习

    FedAF 是一种不需要数据聚合的联邦学习算法，通过协作学习来减少数据异质性导致的客户端漂移问题，提高全局模型准确性和收敛速度

    Apr, 2024

  • 基于层次结构的联邦学习系统 TiFL

    TiFL 是一种基于层级的联邦学习系统，利用自适应层级选择方法解决传统联邦学习系统中由于资源和数据的异质性带来的进度延迟问题，实验结果表明 TiFL 在各种异质性条件下比传统 FL 的性能更好。

    Jan, 2020

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024