梯度同构引导的联邦稀疏训练

May, 2024

Gradient-Congruity Guided Federated Sparse Training

Chris Xing Tian, Yibing Liu, Haoliang Li, Ray C. C. Cheung, Shiqi Wang

TL;DR边缘计算允许在边缘设备上部署人工智能和机器学习模型，它们可以从本地数据中学习并协作形成全局模型。联邦学习是一种分布式机器学习技术，旨在在保护数据隐私的同时促进此过程。本文提出了一种新方法——梯度一致性引导的联邦稀疏训练（FedSGC），它将动态稀疏训练和梯度一致性检查集成到联邦学习框架中，以解决高计算和通信成本的限制性设备、数据不同和分布不均以及解决数据中存在的局外数据等问题。我们在具有挑战性的非独立同分布环境中评估了我们的方法，并展示了它在各种场景中与最先进的联邦学习方法相比具有竞争力的准确性，同时最大程度地减少计算和通信成本。

Abstract

edge computing allows artificial intelligence and machine learning models to be deployed on edge devices, where they can learn from local data and collaborate to form a global model. federated learning (FL) is a

发现论文，激发创造

自适应梯度稀疏化用于高效联邦学习:一种在线学习方法

本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升40%的模型准确度。

Jan, 2020

FedNL: 将牛顿类方法应用于联邦学习

本研究提出了一族Federated Newton Learn方法，它不仅能够使用于广义线性模型，还可应用于压缩本地Hessians等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。

Jun, 2021

基于动态正则化的联邦学习

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

本文提出了一种称为Federated Dynamic Sparse Training（FedDST）的novel FL框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和FL性能方面具有较大的优势，在非i.i.d FL设置下，FedDST在数据传输上的表现显著优于竞争性算法。

Dec, 2021

FedCliP: 客户端修剪的联邦学习

本研究提出了一种新的通信高效的联邦学习（FL）框架FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在MNIST、FMNIST和CIFAR-10等数据集上优于目前的FL框架。

Jan, 2023

互补稀疏化: 面向联邦学习的低开销模型剪枝

提出了一种基于Collaborative Pruning机制的Model Pruning方法，名为Complement Sparsification(CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

Mar, 2023

稀疏随机网络存在：通过正则化强化通信高效的联邦学习

本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多1个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。

Sep, 2023

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入FedComLoc算法，集成了实用和有效的压缩技术到Scaffnew算法中，以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

在客户端上进行修剪而不是服务器：在联邦学习中加速稀疏训练

该研究论文介绍了稀疏训练和加速通信在Federated Learning中的整合方法Sparse-ProxSkip，并在大量实验证明了其良好性能。

May, 2024

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

SpaFL提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导SpaFL的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明SpaFL在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

Jun, 2024