层次联邦学习中的子模型分割：算法设计与收敛分析

Oct, 2023

层次联邦学习中的子模型分割：算法设计与收敛分析

Submodel Partitioning in Hierarchical Federated Learning: Algorithm Design and Convergence Analysis

Wenzhi Fang, Dong-Jun Han, Christopher G. Brinton

TL;DR我们提出了一种新的分层联邦学习方法 - 分层独立子模型训练（HIST），它通过将全局模型划分为不相交的子模型，并将它们分布在不同的细胞中来解决分层环境下的计算、存储和通信负担问题。我们证明了 HIST 对于非凸损失函数的收敛行为，并展示了几个属性（例如细胞的数量、本地和全局聚合频率）对性能效率权衡的影响。通过数值实验，我们验证了 HIST 能够大幅节省通信成本，并实现相同的目标测试准确率。

Abstract

hierarchical federated learning (HFL) has demonstrated promising scalability advantages over the traditional "star-topology" architecture-based federated learning (FL). However, HFL still imposes significant computation, communication, and storage burdens on the edge, especially when t

hierarchical federated learning hierarchical independent submodel training model partitioning computation/storage costs communication loads

发现论文，激发创造

分层和分散的联邦学习

分层联邦学习是一种扩展传统联邦学习过程以实现更高效的模型聚合的方法，可用于智能农业和智能能源管理等应用中，以提高性能并降低成本。

Apr, 2023

異構聯邦學習中以歷史為鑑

该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

Dec, 2023

H-FL：面向联邦学习的分层通信高效和隐私保护体系结构

本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部分中，从而提供隐私保障，在真实的图像识别任务的不同数据集上实验结果表明，我们的 H-FL 框架实现了最先进的性能。

Jun, 2021

利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

Apr, 2020

HiFlash: 具有自适应陈旧度控制和异构感知客户端 - 边缘关联的通信高效分层联合学习

利用 hierarchical federated learning paradigm (HiFL)，基于手机边缘计算和同步客户端 - 边缘模型聚合与异步边缘 - 云模型聚合相结合的方式，显著降低了 WAN 传输的流量，提高了 HiFlash 的系统性能和精度。

Jan, 2023

具有移动性的数据异构层次联邦学习

本研究探讨基于数据异构和移动性的分层联邦学习，通过分析其性能并利用移动性改善数据异构，结果表明移动性可以提高 15.1％的模型准确性。

Jun, 2023

subMFL：设备异构环境下适应性子模型生成的联邦学习

该研究提出了一种模型压缩方法，允许计算能力不同的设备参与联邦学习过程，从而提高资源受限设备的参与率，并保持先前轮次训练的权重，使生成的次模型在保持准确性的同时能够共享，提高参与度约 50%。

May, 2024

HierSFL：移动边缘计算中的局部差分隐私辅助分割联邦学习

使用分层分割联邦学习算法，结合边缘和云端阶段的模型聚合来降低计算和通信开销，实现提高隐私保护并优化移动边缘计算中的内容传递速度和移动服务质量。

Jan, 2024

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

每个参数都很重要：确保联邦学习与动态异构模型的收敛性

通过在线模型提取，本文提出了一个统一的异构联邦学习算法框架，并进行了一般性的收敛性分析，证明了在某些充分条件下，这些算法对于标准异构联邦学习的一般光滑成本函数会收敛于一个静止点。此外，还阐明了影响收敛的两个关键因素：模型提取噪音和最小覆盖指数，强调了局部模型提取的联合设计在高效异构联邦学习中的重要性。

Oct, 2023