Aug, 2021

FedPAGE：一种快速局部随机梯度法，用于通信效率高的联邦学习

HTML
PDF
TL;DR本文提出了一种新的联邦学习算法FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。
发现论文，激发创造
  • 非独立同分布数据上FedAvg的收敛性

    本文中，我们分析了在非独立同分布数据上的FedAvg算法的收敛性，并在强凸和平滑问题上建立起一个O(1/T)的收敛率，研究了部分设备参与的不同平均方案，结果表明数据的异质性会降低收敛速度，并提供了一个必要条件，即遇到非独立同分布数据时，学习率需要衰减否则结果将偏离最优解。

    Jul, 2019

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为FedLaAvg的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为$ O(E^{1/2}/(N^{1/4}T^{1/2}))$的水平。

    Feb, 2020

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • 服务器端步长和无替换采样在联邦优化中被证明有效

    本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶颈问题。

    Jan, 2022

  • SAGDA: 在联邦式Min-Max学习中实现O(ε^{-2})通信复杂度

    本文提出了一种名为SAGDA的新算法框架，用于降低联邦min-max学习的通信复杂度，并在此基础上提高了对标准FSGDA方法通信复杂度的理解。

    Oct, 2022

  • 使用递减本地SGD步骤的更快联邦学习

    本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

    May, 2023

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立FedAvg的尖锐界限；（2）提出了FedAvg的有原则的加速方法FedAc；（3）研究了扩展经典平滑设置的Federated Composite Optimization问题。

    Jan, 2024

  • FedScalar: 一种高效的通信联邦学习

    本研究解决了联邦学习中参与者与中央服务器之间的高通信成本问题，提出了一种名为FedScalar的新算法。该算法通过让参与者使用单个标量而非高维向量来进行更新，显著降低了通信开销，并在光滑的非凸损失函数上实现了$O(1/\sqrt{K})$的收敛速率。

    Oct, 2024