移动边缘网络中基于分层部分模型训练的抗闲杂器弹性联邦学习：应对计算异质性

Nov, 2023

移动边缘网络中基于分层部分模型训练的抗闲杂器弹性联邦学习：应对计算异质性

Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network

PDF

Hongda Wu, Ping Wang, C V Aswartha Narayana

TL;DR联邦学习通过协作训练模型，避免数据共享，适用于资源有限的设备。本文提出了一种面向模型异构性的联邦学习算法，称为联邦部分模型训练（FedPMT），通过设备之间合作训练局部模型并贡献到全局模型，从而实现全局模型的优化训练。理论分析表明，与传统方法相比，FedPMT 算法具有类似的收敛速度，实证结果也证明其在学习准确性和完成时间之间取得了更好的平衡。

Abstract

federated learning (FL) enables many resource-limited devices to train a model collaboratively without data sharing. However, many existing works focus on model-homogeneous FL, where the global and local models are the same size, ignoring the inherently heterogeneous →

federated learning model-heterogeneous federated partial model training computational capabilities convergence rate

发现论文，激发创造

混合分布下的联邦多任务学习

该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

Aug, 2021

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

部分联邦学习

我们提出了一种名为 Partial Federated Learning (PartialFL) 的新算法，该算法使用一部分数据模态或其中间表示来训练机器学习模型，并通过禁止数据标签传送到云端进行模型训练以提高隐私保护效果，我们在两个不同的多模态数据集上评估了我们的方法，并展示了有希望的结果。

Mar, 2024

联邦互助学习

本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

Jun, 2020

联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

Sep, 2021

面向边缘计算的个性化深度神经网络联合学习

该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

Jul, 2020

AdapterFL: 自适应异构联邦学习用于资源受限的移动计算系统

适应性异构联邦学习 (AdapterFL) 通过模型重组策略在资源受限的移动计算系统中实现大规模异构移动设备的协同训练，提高了综合性能并解决了资源不足的问题。

Nov, 2023

异构无线网络中动态分布式模型训练的并行连续学习

本文对联邦学习进行了拓展，提出了并行连续学习 (PSL)，利用 PSL 的框架，实现了从三个方面的拓展：网络（通过设备之间的设备对设备通信进行分散合作），异构性（考虑到训练设备之间的数量、数据来源和性能差异），以及接近度（设备之间不同的距离和不同的访问点）。PSL 实现了模型的分散和本地模型凝聚作为联邦学习方法的一部分，并提出了网络感知动态模型跟踪以优化模型学习和资源效率之间的权衡。

Feb, 2022

基于异构模块化网络的个性化联邦学习

Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods

Oct, 2022

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020