Apr, 2023

TimelyFL: 自适应局部训练的异步异构联邦学习

PDF
TL;DRTimelyFL 是一个异步的 FL 框架，它具有自适应的部分训练能力，用于处理异构设备之间的差异和连接不可靠性。实验表明，与现有同类方法相比，它提高了参与率 21.13％，收敛率 1.28-2.89 倍，测试精度提高了 6.25％。
cross-device federated learningasynchronous fltimelyflheterogeneity-awareadaptive partial training
发现论文，激发创造
  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • 异构环境中加速联邦学习：一种动态分层方法

    动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

    Dec, 2023

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • FedAST: 分布式异步同时训练

    提出了一个缓冲异步联邦同时训练算法 FedAST，通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题，实验证明与现有同时联邦学习方法相比，能够达到多任务训练时间的最多 46.0% 的减少。

    Jun, 2024

  • 面向时间演变异构数据的联邦学习

    本研究提出 Continual Federated Learning (CFL) 框架来处理时变异构数据，该框架可以从过去的本地数据集中提取信息和逼近本地目标函数，从而比之前的 FL 方法在复杂和现实场景下具有更快的收敛速度。

    Dec, 2021

  • 异构联邦学习的稳健模型聚合：分析与优化

    通过引入时间驱动的异步聚合策略，以及使用区分性模型选择算法，提出了一种针对异构系统的同步联邦学习框架，该框架在提高系统效率和鲁棒性的同时，实现了对传统同步联邦学习的延迟减少 50% 和学习准确性平均提高 3% 的改进。

    May, 2024

  • AEDFL：异步去中心化异构设备联邦学习的高效实现

    我们提出了一种异步高效去中心化联邦学习框架，即 AEDFL，它在异构环境中具有三个独特的贡献：首先，我们提出了一种异步的 FL 系统模型，并使用高效的模型聚合方法来改进 FL 的收敛性；其次，我们提出了一种动态过期感知的模型更新方法，以实现更高的准确性；第三，我们提出了一种自适应的稀疏训练方法，以降低通信和计算成本，同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验，证明了 AEDFL 在准确性（高达 16.3%）、效率（高达 92.9%）和计算成本（高达 42.3%）方面的优势。

    Dec, 2023

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024

  • 木瓜：实用、隐私和可扩展的联邦学习

    本文介绍了一种适用于千万级用户设备的异步跨设备联邦学习 (asynchronous Cross-device Federated Learning) 系统，该系统可用于分布式学习，解决了大规模训练中同步传输的效率问题，异步方式比同步方式在高并发环境下训练速度快 5 倍，通信开销少 8 倍。

    Nov, 2021

  • 異構聯邦學習中以歷史為鑑

    该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

    Dec, 2023