Jun, 2023

动量方法可简单并明确地获得非独立同分布联邦学习的好处

PDF
TL;DR本文介绍了在联邦学习中引入动量的方法，以提高 FedAvg 和 SCAFFOLD 算法的性能，并成功证明了在所有的客户端参与训练的情况下，利用动量可以使 FedAvg 算法收敛，而在部分客户端参与训练时，利用动量可以使 SCAFFOLD 算法更快地收敛。此外，文章提出了新的方差缩减扩展，展现出最先进的收敛速度。
发现论文，激发创造
  • SCAFFOLD：面向联邦学习的随机控制平均算法

    通过引入控制变量技术，我们提出了一种新的算法（SCAFFOLD），减轻了 FedAvg 在异构数据（non-iid）上的不稳定性和慢收敛问题，从而使其需要的通信轮次大大减少，在分布式优化中新的成果是我们证明了 SCAFFOLD 可以利用客户端数据的相似性加速收敛。

    Oct, 2019

  • FedCM: 客户级动量的联邦学习

    本文提出了一种名为 FedCM 的新型联邦平均算法，用于解决现实世界联邦学习应用中的部分参与和客户异质性问题。它在以前的通信轮次中聚合全局梯度信息，并修改客户端梯度下降，可以有效地纠正偏差并提高本地 SGD 的稳定性。作者提供了理论分析和广泛的实证研究表明，FedCM 在各种任务中均具有卓越的性能，并且对不同的客户数量、参与率和客户异质性具有鲁棒性。

    Jun, 2021

  • 关于服务器动量在联邦学习中的作用

    提出了一种服务器动量的通用框架，用来解决联邦学习中由于客户端系统和数据异质性引起的收敛问题，并通过严密的收敛分析和大量实验证实了该框架的有效性。

    Dec, 2023

  • 异步隐私联邦学习中的动量逼近

    本论文研究异步协议和动量法在联邦学习中的结合，提出动量近似方法来解决这一问题，实验结果表明相较于已有异步联邦学习优化器，动量近似方法在收敛速度上能够达到 1.15 到 4 倍的加速。

    Feb, 2024

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 非独立分散数据的有效联邦自适应梯度方法

    本文提出了各种基于联邦学习的自适应梯度方法以及各种校准方法，比如标准 Adam，p-Adam 和激活函数校准方法等等，为非凸优化中非独立同分布和不平衡数据中的（校准的）联邦 AGMs 提供了第一组理论结果。通过与现有的联邦学习方法 FedAvg、FedMomentum 和 SCAFFOLD 进行了广泛的实验比较，可以看出 AGMs 相对于当前联邦学习方法的优势。

    Sep, 2020

  • 具有全局动量加速的通信高效联邦学习

    提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

    Jan, 2022

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 基于梯度蒙版的联邦学习平均化

    本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

    Jan, 2022