通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Jan, 2024

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation

Vasileios Tsouvalas. Aaqib Saeed, Tanir Ozcelebi, Nirvana Meratnia

TL;DRFederated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Abstract

federated learning (FL) is a promising technique for the collaborative training of deep neural networks across multiple devices while preserving data privacy. Despite its potential benefits, FL is hindered by excessive

federated learning model compression communication costs dynamic weight clustering server-side knowledge distillation

发现论文，激发创造

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020

FedCode: 通过传输密码本实现高效沟通的联邦学习

FedCode 是一种降低通信量的分布式机器学习方法，通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与 FedAvg 相当的模型性能。

Nov, 2023

通过平衡通信折衷来实现快速联邦学习

根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

May, 2021

采用动态带宽的自适应压缩下的高效通信联邦学习

提出了一种自适应压缩的通信高效联邦学习算法（称为 AdapComFL），通过每个客户端进行带宽感知和带宽预测，并通过改进的草图机制对本地模型进行自适应压缩，实现服务器对接收到的不同大小的草图模型进行聚合，实验证明 AdapComFL 相比现有算法在通信效率和准确性上更具竞争力。

May, 2024

FedClust: 通过权重驱动的客户端聚类优化非 IID 数据上的联邦学习

FedClust 是一种聚类联邦学习方法，利用局部模型权重和客户数据分布之间的相关性将客户分组成簇，并动态地实时适应新加入的客户，实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。

Mar, 2024

基于知识蒸馏的通信高效联邦学习 (FedKD)

本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

Aug, 2021

基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

Aug, 2020