本研究提出了Sparse Ternary Compression (STC),一种针对Federated Learning环境的新型压缩框架。实验表明,STC在常见Federated Learning场景下,即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低,也比Federated Averaging表现更佳。此外,即使客户端持有iid数据并使用中等大小的批次进行训练,STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度,表现超越了Federated Averaging。
Mar, 2019
本研究提出了一种新的框架FedZip,其中利用 Top-Z 稀疏化、量化和压缩三种不同的编码方法,实现在减小客户端和服务器之间传输的权重大小的同时,兼顾保护用户隐私和保护数据的目的。FedZip 表现出超过现有压缩框架的性能,压缩比率高达1085x,即使在通信过程中也保留了客户端的99%带宽和99%能量。
Feb, 2021
通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的Federated Learning压缩算法,可以显著减少通信流量并在实际网络中提高学习效率。
May, 2021
本文提出一种基于自编码器(Autoencoders)的动态正交压缩权重更新的方法,该方法不仅可以在大规模联邦学习中实现高达500x至1720x等多种压缩比,而且还可以根据精度要求、计算容量等要求进行修改,从而成为一种有优势的替代或补充方式。
Aug, 2021
本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法,通过在客户端上互相学习一个学生模型和一个教师模型,只共享学生模型以降低通信成本,并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明,该方法能够有效减少通信成本并取得竞争性的结果。
FedCode是一种降低通信量的分布式机器学习方法,通过只传输代码簿来有效减少客户端与服务器之间的数据交互,同时保持与FedAvg相当的模型性能。
Nov, 2023
通过分析和实验证明可变长度对于Federated Learning中的压缩是有利的,因此提出了Fed-CVLC方法,用以根据模型更新动态来调整代码长度,最小化通信损耗并提高模型效用。通过实验证明Fed-CVLC优于现有基准方法,可以提升模型效用1.50%至5.44%,或减少通信流量16.67%至41.61%。
Feb, 2024
我们引入FedComLoc算法,集成了实用和有效的压缩技术到Scaffnew算法中,以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。
Mar, 2024
本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架,包括自适应聚类算法和局部聚合压缩算法。仿真结果证实,我们提出的算法不仅保持了可比较的预测准确性,还显著降低了相对于现有联邦学习机制的能源消耗。
May, 2024
本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下,导致的性能下降和延迟问题,提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码,显著提升了模型准确性,最大提升达13%,并加快了收敛速度,为未来的通信高效联邦学习研究奠定了基础。
Aug, 2024