通信高效的稀疏随机网络联邦学习

ICLRSep, 2022

通信高效的稀疏随机网络联邦学习

Sparse Random Networks for Communication-Efficient Federated Learning

Berivan Isik, Francesco Pase, Deniz Gunduz, Tsachy Weissman, Michele Zorzi

TL;DR在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。

Abstract

One main challenge in federated learning is the large communication cost of exchanging weight updates from clients to the server at each round. While prior work has made great progress in compressing the weight updates through gradient compression methods, we propose a radically differ

federated learning gradient compression stochastic binary mask sparse random network communication efficiency

发现论文，激发创造

稀疏随机网络存在：通过正则化强化通信高效的联邦学习

本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多 1 个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。

Sep, 2023

SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

Apr, 2023

用于快速且通讯高效的联邦学习自适应差分滤波器

本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

Apr, 2022

稀疏二进制压缩：实现最小通讯的分布式深度学习

本文提出了一种基于稀疏二进制压缩（SBC）的通信框架，结合了通信延迟、梯度稀疏化和权重更新编码的方法来显著减少分布式训练的通信成本，并可以平衡梯度稀疏性和时间稀疏性以适应学习任务需求，实验表明在不明显降低正向和反向传递速度的情况下，基于 SBC 的框架可以将通信开销降至每个客户端 3.35 GB，这在使用更小的计算机网络时具有重要意义。

May, 2018

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

本文提出了一种称为 Federated Dynamic Sparse Training（FedDST）的 novel FL 框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和 FL 性能方面具有较大的优势，在非 i.i.d FL 设置下，FedDST 在数据传输上的表现显著优于竞争性算法。

Dec, 2021

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

分布式梯度下降的稀疏通讯

使用稀疏更新替代密集更新的分布式随机梯度下降法，在保持准确性不变的情况下，能够在 MNIST 数据集中实现最高 49% 的加速和在神经机器翻译任务中实现最高 22% 的加速。

Apr, 2017

通信高效的联邦学习时间相关稀疏化

本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Jan, 2021

只需一个字节（每梯度）：关于使用共享随机性进行低带宽分散化语言模型微调的注记

本研究提出了一种基于共享随机性的分布式微调方法，通过使用单字节的梯度交换，减少了通信成本，并保留了最近研究中的内存效率和推理优势。

Jun, 2023