Dec, 2023

稀疏训练与正则化误差修正的联邦学习

PDF
TL;DR本文介绍了一种名为 FLARE 的新算法，通过对嵌入在 FL 过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE 的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的 10 倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。
federated learningsparse training schemeserror correction methodsstaleness effectflare algorithm
发现论文，激发创造
  • SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

    使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

    Apr, 2023

  • SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

    SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

    Jun, 2024

  • 通信高效的联邦学习时间相关稀疏化

    本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

    Jan, 2021

  • 用于快速且通讯高效的联邦学习自适应差分滤波器

    本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

    Apr, 2022

  • 基于条件稀疏到更稀疏方案的去中心化个性化联邦学习

    提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。

    Apr, 2024

  • 原型正则化提升联邦学习收敛性

    在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

    Jul, 2023

  • 具有差分隐私的梯度稀疏化，实现高效的无线联合学习

    通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。

    Apr, 2023

  • 使用稀疏本地模型实现个性化联邦学习

    本论文提出一种名为 FedSpa 的新型 PFL 方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa 不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。

    Jan, 2022

  • 自适应梯度稀疏化用于高效联邦学习：一种在线学习方法

    本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

    Jan, 2020

  • ZeroFL: 带有本地稀疏性的联邦学习在设备上的高效训练

    提出了一种基于高度稀疏操作的 ZeroFL 框架，用于加速 On-device 训​​练，使 Federated Learning 能够训练高性能机器学习模型，并提高了精度。

    Aug, 2022