ZeroFL: 带有本地稀疏性的联邦学习在设备上的高效训练

ICLRAug, 2022

ZeroFL: 带有本地稀疏性的联邦学习在设备上的高效训练

ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity

Xinchi Qiu, Javier Fernandez-Marques, Pedro PB Gusmao, Yan Gao, Titouan Parcollet...

TL;DR提出了一种基于高度稀疏操作的 ZeroFL 框架，用于加速 On-device 训练，使 Federated Learning 能够训练高性能机器学习模型，并提高了精度。

Abstract

When the available hardware cannot meet the memory and compute requirements to efficiently train high performing machine learning models, a compromise in either the training quality or the model complexity is needed. In Federated Learning (FL), nodes are orders of magnitude more constr

federated learning on-device training sparsity machine learning models accuracy

发现论文，激发创造

通过连续的层次训练，在计算受限设备上聚合联邦学习的容量

介绍了一种新的方法，即对联合学习模型的参数进行连续冻结和训练，以减少设备上的训练资源需求，同时仍允许足够的参数协同适应度，大大提高了训练模型的准确性和分布式设备的计算能力的高效汇集。

May, 2023

模型修剪使边缘设备上的联邦学习更高效

提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

Sep, 2019

联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

本文提出了一种称为 Federated Dynamic Sparse Training（FedDST）的 novel FL 框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和 FL 性能方面具有较大的优势，在非 i.i.d FL 设置下，FedDST 在数据传输上的表现显著优于竞争性算法。

Dec, 2021

使用 Flower 实现本地联邦学习

本论文探讨了利用 Flower 框架在各种智能手机和嵌入式设备上进行设备内联合学习的系统成本，并讨论了如何利用此定量数据来设计更有效的联邦学习算法。

Apr, 2021

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

subMFL：设备异构环境下适应性子模型生成的联邦学习

该研究提出了一种模型压缩方法，允许计算能力不同的设备参与联邦学习过程，从而提高资源受限设备的参与率，并保持先前轮次训练的权重，使生成的次模型在保持准确性的同时能够共享，提高参与度约 50%。

May, 2024

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

Jun, 2024

FedZero：利用可再生过剩能源实现联邦学习

提出了基于可再生能源、FedZero 的联邦学习系统，利用能量和负载预测，在历史太阳能和负载状况的基础上，选择客户端进行快速收敛和公平参与，从而将训练的操作碳排放降至零。

May, 2023

资源有效的异构和资源受限环境下的联邦学习

在本文中，我们提出了一种名为 RE-FL 的新方法，该方法解决了资源受限设备中计算和通信挑战的问题。我们的可变修剪技术通过根据每个客户端的计算能力进行修剪来优化资源利用。我们还使用知识蒸馏来减少带宽消耗和通信轮次。对图像分类任务的实验结果证明了我们的方法在资源受限环境中保持数据隐私和性能的有效性，同时适应了异构模型架构。

Aug, 2023