Nov, 2021

联邦平均（局部 SGD）和连续视角的锐界

PDF
TL;DR本文介绍了在联邦学习中最流行的算法之一 - 联邦平均（FedAvg），尽管其简单易用，但至今其收敛率仍未确定，并且该算法的收敛速度受限于其假设的条件。该研究通过提供一个匹配现有上限的 FedAvg 下限解决了已有的收敛速度问题，同时还证实了在异质性聚集中，合理的下限几乎匹配了现有的上限，同时也证明了对于三阶平滑性的假设，该算法能在凸和非凸设置上实现更好的收敛性能。
发现论文，激发创造
  • 非独立同分布数据上 FedAvg 的收敛性

    本文中，我们分析了在非独立同分布数据上的 FedAvg 算法的收敛性，并在强凸和平滑问题上建立起一个 O (1/T) 的收敛率，研究了部分设备参与的不同平均方案，结果表明数据的异质性会降低收敛速度，并提供了一个必要条件，即遇到非独立同分布数据时，学习率需要衰减否则结果将偏离最优解。

    Jul, 2019

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 联邦加速随机梯度下降

    本文提出了 Federated Accelerated Stochastic Gradient Descent (FedAc)，它是 Federated Averaging (FedAvg) 的一种加速方法，可以提高收敛速度和通信效率，特别是在凸函数和三阶平滑函数上有更强的性能表现。该技术基于基于潜力的扰动迭代分析、广义加速 SGD 的新型稳定性分析和加速与稳定性之间的战略权衡。

    Jun, 2020

  • 局部 SGD：统一理论和新高效方法

    该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强假设。

    Nov, 2020

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 使用递减本地 SGD 步骤的更快联邦学习

    本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

    May, 2023

  • 关于联邦学习的二阶优化方法

    本研究考虑分布式学习中的标准优化方法 FedAvg，对比了多种具有良好收敛性质的二阶分布式方法，发现 FedAvg 表现出乎意料好，提出了一种使用二阶局部信息和全局线性搜索的新变种。

    Sep, 2021

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 本地更新促进表示学习的 FedAvg 与微调

    通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。

    May, 2022