采用动态带宽的自适应压缩下的高效通信联邦学习

May, 2024

采用动态带宽的自适应压缩下的高效通信联邦学习

Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth

Ying Zhuansun, Dandan Li, Xiaohong Huang, Caijun Sun

TL;DR提出了一种自适应压缩的通信高效联邦学习算法（称为AdapComFL），通过每个客户端进行带宽感知和带宽预测，并通过改进的草图机制对本地模型进行自适应压缩，实现服务器对接收到的不同大小的草图模型进行聚合，实验证明AdapComFL相比现有算法在通信效率和准确性上更具竞争力。

Abstract

federated learning can train models without directly providing local data to the server. However, the frequent updating of the local model brings the problem of large communication overhead. Recently, scholars have achieved the →

发现论文，激发创造

压缩联邦学习：统一分析和精确保证

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

通过发送聚类模型更新来减少联邦学习中的通信流量

通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的Federated Learning压缩算法，可以显著减少通信流量并在实际网络中提高学习效率。

May, 2021

联邦学习中压缩通信的最优速率调适

本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

Dec, 2021

使用速率失真理论在联邦学习中优化通信-准确性权衡

研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在Stack Overflow下一个真实具有挑战性的FL基准测试中实现了接近最优的通信成本降低，在多个数据集、优化器、客户端和训练轮次中，失真-失真前沿保持一致。

Jan, 2022

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法FedCompress得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

Fed-CVLC：变长编码压缩联邦学习通信

通过分析和实验证明可变长度对于Federated Learning中的压缩是有利的，因此提出了Fed-CVLC方法，用以根据模型更新动态来调整代码长度，最小化通信损耗并提高模型效用。通过实验证明Fed-CVLC优于现有基准方法，可以提升模型效用1.50%至5.44%，或减少通信流量16.67%至41.61%。

Feb, 2024

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

高效异步联邦学习的局部更新和梯度压缩共同方法

异步联邦学习及其新型框架FedLuck通过调整本地更新频率和梯度压缩率，优化通信消耗和训练时间，在异构和低带宽环境下取得了竞争性的性能。

Jul, 2024

带宽感知和重叠加权压缩用于通信高效的联邦学习

本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下，导致的性能下降和延迟问题，提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码，显著提升了模型准确性，最大提升达13%，并加快了收敛速度，为未来的通信高效联邦学习研究奠定了基础。

Aug, 2024