FedSPU: 面向资源受限设备的个性化联邦学习与随机参数更新

Mar, 2024

FedSPU: 面向资源受限设备的个性化联邦学习与随机参数更新

FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update

Ziru Niu, Hai Dong, A. K. Qin

TL;DR个性化联邦学习中，采用较小规模的本地子模型的联邦丢弃策略会引入偏差，因此我们提出了联邦学习与随机参数更新的方法，通过冻结部分神经元来增强模型对于他人偏差参数的鲁棒性，并引入早停机制来显著减少训练时间。

Abstract

personalized federated learning (PFL) is widely employed in IoT applications to handle high-volume, non-iid client data while ensuring data privacy. However, heterogeneous edge devices owned by clients may impose varying degrees of resource constraints, causing computation and communic

personalized federated learning federated dropout federated learning with stochastic parameter update biased parameters early stopping scheme

发现论文，激发创造

联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

Sep, 2021

使用稀疏本地模型实现个性化联邦学习

本论文提出一种名为 FedSpa 的新型 PFL 方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa 不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。

Jan, 2022

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023

FedPop：个性化联邦学习的贝叶斯方法

本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

Jun, 2022

移动边缘网络中基于分层部分模型训练的抗闲杂器弹性联邦学习：应对计算异质性

联邦学习通过协作训练模型，避免数据共享，适用于资源有限的设备。本文提出了一种面向模型异构性的联邦学习算法，称为联邦部分模型训练（FedPMT），通过设备之间合作训练局部模型并贡献到全局模型，从而实现全局模型的优化训练。理论分析表明，与传统方法相比，FedPMT 算法具有类似的收敛速度，实证结果也证明其在学习准确性和完成时间之间取得了更好的平衡。

Nov, 2023

个性化联邦学习的分散指导协作

个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

May, 2024

DisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习

提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。

Jun, 2022

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

本文提出了一种称为 Federated Dynamic Sparse Training（FedDST）的 novel FL 框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和 FL 性能方面具有较大的优势，在非 i.i.d FL 设置下，FedDST 在数据传输上的表现显著优于竞争性算法。

Dec, 2021