Fed-CVLC：变长编码压缩联邦学习通信

MMFeb, 2024

Fed-CVLC：变长编码压缩联邦学习通信

Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes

Xiaoxin Su, Yipeng Zhou, Laizhong Cui, John C.S. Lui, Jiangchuan Liu

TL;DR通过分析和实验证明可变长度对于 Federated Learning 中的压缩是有利的，因此提出了 Fed-CVLC 方法，用以根据模型更新动态来调整代码长度，最小化通信损耗并提高模型效用。通过实验证明 Fed-CVLC 优于现有基准方法，可以提升模型效用 1.50% 至 5.44%，或减少通信流量 16.67% 至 41.61%。

Abstract

In federated learning (fl) paradigm, a parameter server (PS) concurrently communicates with distributed participating clients for model collection, update aggregation, and model distribution over multiple rounds,

federated learning fl model compression variable-length codes fed-cvlc

发现论文，激发创造

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

FedCode: 通过传输密码本实现高效沟通的联邦学习

FedCode 是一种降低通信量的分布式机器学习方法，通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与 FedAvg 相当的模型性能。

Nov, 2023

联邦学习中压缩通信的最优速率调适

本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

Dec, 2021

压缩误差反馈实现高效垂直联邦学习

提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。

Jun, 2024

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

基于投票共识模型压缩的网络内联合学习加快方法

提出了一种 FediAC 算法，通过在客户端报告重要的模型更新索引并在模型聚合阶段上传全局重要的模型更新，从而解决在联邦学习中部署程序可编程交换机的挑战，减少了内存空间和通信流量，同时提高了模型的准确性。

Feb, 2024

通过发送聚类模型更新来减少联邦学习中的通信流量

通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的 Federated Learning 压缩算法，可以显著减少通信流量并在实际网络中提高学习效率。

May, 2021

计算与通信高效的轻量化垂直联邦学习

轻量级垂直联邦学习（LVFL）通过分别优化特征模型和特征嵌入的轻量化策略，有效减轻了计算和通信需求，同时保持了强大的学习性能。

Mar, 2024