通过减少客户资源需求扩大联邦学习的覆盖范围

Dec, 2018

通过减少客户资源需求扩大联邦学习的覆盖范围

Expanding the Reach of Federated Learning by Reducing Client Resource Requirements

Sebastian Caldas, Jakub Konečny, H. Brendan McMahan, Ameet Talwalkar

TL;DR采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

Abstract

Communication on heterogeneous edge networks is a fundamental bottleneck in federated learning (FL), restricting both model capacity and user participation. To address this issue, we introduce two novel strategie

federated learning heterogeneous edge networks lossy compression federated dropout client device resources

发现论文，激发创造

自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

Nov, 2020

FedLite: 一种基于资源受限客户端的可扩展联邦学习方法

本文提出了一种使用聚类方案和梯度校正方法来压缩通信成本的分散式学习方法，经实验证明，该方法在保持精度的同时最多可实现 490 倍的通信成本降低，并且提供了可接受的性能与通信的平衡。

Jan, 2022

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020

ResFed: 通过传输深度压缩残差实现通信高效的联邦学习

提出一种基于残差的联邦学习（ResFed）框架，通过稀疏化和量化残差，实现通信效率的提高，大大减少了在无线网络中应用联邦学习所需要的大量通信成本。

Dec, 2022