Jun, 2022

FedHiSyn: 面向资源和数据异构的分层同步联邦学习框架

PDF
TL;DR本文提供了一种基于异步联邦学习的分层同步 FL 框架：FedHiSyn，首先将设备基于其计算能力分成少量的几类，然后在这些类别中通过同步更新和设备间通信相结合的方式解决了异质性数据和呆滞时间等问题，实验结果表明在精度与效率方面的表现均优于其他六种基线方法。
发现论文，激发创造
  • 異構聯邦學習中以歷史為鑑

    该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

    Dec, 2023

  • 具有移动性的数据异构层次联邦学习

    本研究探讨基于数据异构和移动性的分层联邦学习，通过分析其性能并利用移动性改善数据异构，结果表明移动性可以提高 15.1％的模型准确性。

    Jun, 2023

  • 面向计算受限异构设备的联邦学习：综述

    随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

    Jul, 2023

  • HiFlash: 具有自适应陈旧度控制和异构感知客户端 - 边缘关联的通信高效分层联合学习

    利用 hierarchical federated learning paradigm (HiFL)，基于手机边缘计算和同步客户端 - 边缘模型聚合与异步边缘 - 云模型聚合相结合的方式，显著降低了 WAN 传输的流量，提高了 HiFlash 的系统性能和精度。

    Jan, 2023

  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • TimelyFL: 自适应局部训练的异步异构联邦学习

    TimelyFL 是一个异步的 FL 框架，它具有自适应的部分训练能力，用于处理异构设备之间的差异和连接不可靠性。实验表明，与现有同类方法相比，它提高了参与率 21.13％，收敛率 1.28-2.89 倍，测试精度提高了 6.25％。

    Apr, 2023

  • 异构环境中加速联邦学习：一种动态分层方法

    动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

    Dec, 2023

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020

  • 跨異質蜂巢網絡的階層式聯邦學習

    研究使用梯度稀疏化和周期性平均的分层联邦学习框架，来在异构蜂窝网络中实现协作机器学习任务。结果表明，该方案可以显着降低通信延迟且不会减少模型精度。

    Sep, 2019

  • 分层和分散的联邦学习

    分层联邦学习是一种扩展传统联邦学习过程以实现更高效的模型聚合的方法，可用于智能农业和智能能源管理等应用中，以提高性能并降低成本。

    Apr, 2023