用于快速且通讯高效的联邦学习自适应差分滤波器

CVPRApr, 2022

用于快速且通讯高效的联邦学习自适应差分滤波器

Adaptive Differential Filters for Fast and Communication-Efficient Federated Learning

Daniel Becking, Heiner Kirchhoffer, Gerhard Tech, Paul Haase, Karsten Müller...

TL;DR本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

Abstract

federated learning (FL) scenarios inherently generate a large communication overhead by frequently transmitting neural network updates between clients and server. To minimize the communication cost, introducing sparsity in conjunction with differential updates is a commonly used techni

federated learning sparse model updates convolutional filters compression ratios performance improvement

发现论文，激发创造

具有差分隐私的梯度稀疏化，实现高效的无线联合学习

通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。

Apr, 2023

自适应梯度稀疏化用于高效联邦学习：一种在线学习方法

本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

Jan, 2020

SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

Apr, 2023

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

Jun, 2024

通过平衡通信折衷来实现快速联邦学习

根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

May, 2021

动态采样与选择性遮蔽：用于高效通信的联合学习

本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

Mar, 2020

联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

本文提出了一种称为 Federated Dynamic Sparse Training（FedDST）的 novel FL 框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和 FL 性能方面具有较大的优势，在非 i.i.d FL 设置下，FedDST 在数据传输上的表现显著优于竞争性算法。

Dec, 2021

增强稀疏化隐私与自适应优化的联邦学习

这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

Aug, 2020

稀疏训练与正则化误差修正的联邦学习

本文介绍了一种名为 FLARE 的新算法，通过对嵌入在 FL 过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE 的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的 10 倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。

Dec, 2023

通信高效的联邦学习时间相关稀疏化

本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Jan, 2021