局部 SGD：统一理论和新高效方法

Nov, 2020

Local SGD: Unified Theory and New Efficient Methods

Eduard Gorbunov, Filip Hanzely, Peter Richtárik

TL;DR该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强假设。

Abstract

We present a unified framework for analyzing local sgd methods in the convex and strongly convex regimes for distributed/federated training of supervised machine learning models. We recover several known methods as a special case of our general framework, including Local-SGD/FedAvg, SC

local sgd distributed training federated learning stochastic gradient estimators linear convergence

发现论文，激发创造

局部 SGD 比小批量 SGD 更好吗？

本文研究了局部 SGD（也称为并行 SGD 和联邦平均），一个自然且常用的随机分布式优化方法。在凸设置中，我们证明了局部 SGD 严格优于小批量 SGD，并且加速局部 SGD 在凸二次目标上是最小极值最优的。同时，我们还提供了总体上至少有时优于小批量 SGD 的第一个保证，并展示了局部 SGD 存在一种性能下限，比小批量 SGD 保证更差。

Feb, 2020

联邦学习中局部下降方法的收敛性

本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

Oct, 2019

关于联邦学习的原则性本地优化方法

本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

Jan, 2024

具有动态拓扑和本地更新的去中心化 SGD 的统一理论

这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

Mar, 2020

联邦平均（局部 SGD）和连续视角的锐界

本文介绍了在联邦学习中最流行的算法之一 - 联邦平均（FedAvg），尽管其简单易用，但至今其收敛率仍未确定，并且该算法的收敛速度受限于其假设的条件。该研究通过提供一个匹配现有上限的 FedAvg 下限解决了已有的收敛速度问题，同时还证实了在异质性聚集中，合理的下限几乎匹配了现有的上限，同时也证明了对于三阶平滑性的假设，该算法能在凸和非凸设置上实现更好的收敛性能。

Nov, 2021

用于非凸联邦优化的随机梯度方法的统一分析

本文研究了 SGD 变体在平滑非凸情况下的表现，并提出了一种通用的假设模型来精确建模随机梯度的二阶矩，并给出了所有满足统一假设的方法的单一收敛分析。此外，作者提出了两种新的通用算法框架来处理分布式 / 联邦非凸优化问题，并说明这些方法均满足他们的统一假设，因此这个统一的收敛分析也包括了许多利用压缩通讯的分布式方法。最后，文章提供了一种在 PL 条件下获得更快线性收敛速度的统一分析。

Jun, 2020

从本地 SGD 到本地定点方法的联邦学习

本研究探讨了在分布式环境中使用固定步数和随机计算两种策略来实现平均操作符的固定点，以适应联邦学习等需要，经过收敛性分析和实验证明了我们方法的优势。

Apr, 2020

混合全局和局部模型的联邦学习

提出针对联邦学习模型的新型优化公式，通过寻求全局模型与本地模型之间的平衡，使各参与设备能够从其私有数据中学习，而不需要通信。此方法类似于联邦平均 /local SGD，但能够改善具有异构数据的问题的通信，同时发现个性化能够降低通信复杂度。

Feb, 2020

联邦加速随机梯度下降

本文提出了 Federated Accelerated Stochastic Gradient Descent (FedAc)，它是 Federated Averaging (FedAvg) 的一种加速方法，可以提高收敛速度和通信效率，特别是在凸函数和三阶平滑函数上有更强的性能表现。该技术基于基于潜力的扰动迭代分析、广义加速 SGD 的新型稳定性分析和加速与稳定性之间的战略权衡。

Jun, 2020

个性化联合学习：统一框架和普适的优化技术

本文研究对个性化 Federated Learning 进行优化，提出了通用的优化器，应用于现有的针对个性化 Federated Learning 的目标函数，包括局部 SGD、加速坐标下降 / 加速 SVRCD 等，得到适用于文献中所有基于强凸个性化 FL 模型的普适优化理论，提高了通信效率和本地计算效率。

Feb, 2021