FedLite: 一种基于资源受限客户端的可扩展联邦学习方法

Jan, 2022

FedLite: 一种基于资源受限客户端的可扩展联邦学习方法

FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients

Jianyu Wang, Hang Qi, Ankit Singh Rawat, Sashank Reddi, Sagar Waghmare...

TL;DR本文提出了一种使用聚类方案和梯度校正方法来压缩通信成本的分散式学习方法，经实验证明，该方法在保持精度的同时最多可实现 490 倍的通信成本降低，并且提供了可接受的性能与通信的平衡。

Abstract

In classical federated learning, the clients contribute to the overall training by communicating local updates for the underlying model on their private data to a coordinating server. However, updating and communicating the entire model becomes prohibitively expensive when resource-con

federated learning split learning communication cost reduction clustering gradient correction

发现论文，激发创造

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

高效异构联邦学习：一种基于匹配和分割学习的方法

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

通过减少客户资源需求扩大联邦学习的覆盖范围

采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

Dec, 2018

分割学习和联邦学习通信效率的详细比较

比较分割学习和联合学习两种分布式机器学习方法的通信效率，并研究在哪些情况下每种方法在通信效率方面的优劣，考虑了各种实际情况和设置。

Sep, 2019

FedSplitX: 计算受限异构客户的联邦分割学习

提出了 FedSplitX，一种面对异构系统的新型联合学习框架，能够有效地利用服务器资源来训练大模型，从而在模型性能上优于基准方法。

Oct, 2023

FedCliP: 客户端修剪的联邦学习

本研究提出了一种新的通信高效的联邦学习（FL）框架 FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。

Jan, 2023

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

联邦与集中式学习的混合架构

本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

May, 2021