Sep, 2023

稀疏随机网络存在：通过正则化强化通信高效的联邦学习

HTML
PDF
TL;DR本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多1个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。
发现论文，激发创造
  • 非独立同分布数据上健壮且高效的联邦学习

    本研究提出了Sparse Ternary Compression (STC)，一种针对Federated Learning环境的新型压缩框架。实验表明，STC在常见Federated Learning场景下，即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低，也比Federated Averaging表现更佳。此外，即使客户端持有iid数据并使用中等大小的批次进行训练，STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了Federated Averaging。

    Mar, 2019

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • FedPAGE：一种快速局部随机梯度法，用于通信效率高的联邦学习

    本文提出了一种新的联邦学习算法FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。

    Aug, 2021

  • 联邦动态稀疏训练：计算更少，通信更少，但学习效果更佳

    本文提出了一种称为Federated Dynamic Sparse Training（FedDST）的novel FL框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和FL性能方面具有较大的优势，在非i.i.d FL设置下，FedDST在数据传输上的表现显著优于竞争性算法。

    Dec, 2021

  • 联邦学习中快速复合优化和统计恢复

    本文研究了在联邦学习设置下一类组合优化和统计恢复问题，提出了新的算法，旨在从优化和统计两个角度开拓这一领域，实验表明该方法比其他基线优秀。

    Jul, 2022

  • 通信高效的稀疏随机网络联邦学习

    在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。

    Sep, 2022

  • 稀疏训练与正则化误差修正的联邦学习

    本文介绍了一种名为FLARE的新算法，通过对嵌入在FL过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的10倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。

    Dec, 2023

  • 揭示效率：在非独立同分布联邦学习中学习显著稀疏模型

    我们提出了显著稀疏联合学习（SSFL），一种用于稀疏联合学习并具有高效通信的简化方法。在非独立同分布的情况下，SSFL在训练之前利用在本地客户端数据上分别计算的参数显著性得分，并进行聚合，以确定全局掩码。在客户端和服务器之间每一轮只传递稀疏模型权重。我们通过标准的非独立同分布基准验证了SSFL的有效性，并注意到在稀疏性和准确性权衡方面有显著的改进。最后，我们在实际联合学习框架中部署了我们的方法，并报告了通信时间的改善。

    May, 2024

  • SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

    SpaFL提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导SpaFL的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明SpaFL在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

    Jun, 2024

  • 基于掩码随机噪声的通信高效联邦学习

    本研究针对联邦学习中存在的高通信成本问题，提出了一种新的方法——联邦掩码随机噪声（FedMRN）框架。该框架能够通过学习每个模型参数的1位掩码，并应用掩码随机噪声来表示模型更新，从而提高通信效率。实验结果表明，FedMRN在收敛速度和测试准确率上优于相关基准，同时与FedAvg达到相似的准确性。

    Aug, 2024