非独立同分布数据边缘设备异步在线联邦学习

Nov, 2019

非独立同分布数据边缘设备异步在线联邦学习

Asynchronous Online Federated Learning for Edge Devices with Non-IID Data

Yujing Chen, Yue Ning, Martin Slawski, Huzefa Rangwala

TL;DR本文提出了一种异步在线联邦学习（ASO-Fed）框架，在其中，边缘设备使用连续的流本地数据进行在线学习，而中央服务器从客户端聚合模型参数，我们的框架以异步方式更新中央模型，以应对异构边缘设备的计算负载变化、滞后或丢失的挑战，我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验，结果展示了该模型的快速收敛和良好的预测性能。

Abstract

federated learning (FL) is a machine learning paradigm where a shared central model is learned across distributed edge devices while the training data remains on these devices. Federated Averaging (FedAvg) is the leading optimization method for training non-convex models in this settin

federated learning asynchronous online federated learning heterogeneous edge devices continuous streaming local data non-iid streaming datasets

发现论文，激发创造

加速半异步联邦学习

传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

Feb, 2024

异步联邦学习中实现线性加速

我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

Feb, 2024

FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020

利用联邦学习进行工业物联网边缘设备网络的无监督异常检测

通过使用联邦学习方法中的 Fedavg 算法解决了物联网设备中涉及的隐私问题，并提出了一个公平的 Fedavg 算法以解决在训练过程中出现的不公平问题。

Aug, 2023

无线联邦学习与优化

使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

Oct, 2023

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

异步多服务器联邦学习用于地理分布式客户端

提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

Jun, 2024

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

异构设备上的异步联邦学习：综述

该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

Sep, 2021

在设备任意不可用情况下的快速联邦学习

本研究提出了一种名为 Memory-augmented Impatient Federated Averaging （MIFA）的算法来应对 Federated Learning 中设备不可用的问题，该算法有效地避免了不活跃设备带来的过度延迟，并使用从设备中记忆的最新更新来校正梯度偏差，并证明了 MIFA 在强凸和非凸顺滑函数的非独立同分布数据上实现了极小化最优收敛率。经过实验验证，该算法真实世界数据集取得了良好的结果。

Jun, 2021