Jun, 2024

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

PDF
TL;DRSpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。
federated learningcommunication-efficientsparse model structuresstructured sparsitypruning process
发现论文，激发创造
  • 使用稀疏本地模型实现个性化联邦学习

    本论文提出一种名为 FedSpa 的新型 PFL 方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa 不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。

    Jan, 2022

  • FedComLoc: 通信高效的稀疏与量化模型的分布式训练

    我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

    Mar, 2024

  • 互补稀疏化：面向联邦学习的低开销模型剪枝

    提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

    Mar, 2023

  • 通信高效的联邦学习时间相关稀疏化

    本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

    Jan, 2021

  • SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

    使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

    Apr, 2023

  • 通过平衡通信折衷来实现快速联邦学习

    根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

    May, 2021

  • DisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习

    提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。

    Jun, 2022

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 用于快速且通讯高效的联邦学习自适应差分滤波器

    本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

    Apr, 2022