Aug, 2021

FedPAGE：一种快速局部随机梯度法，用于通信效率高的联邦学习

PDF
TL;DR本文提出了一种新的联邦学习算法 FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的 SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。
federated learningfedavgfedpagecommunication complexityoptimization
发现论文，激发创造
  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 非独立同分布数据上 FedAvg 的收敛性

    本文中，我们分析了在非独立同分布数据上的 FedAvg 算法的收敛性，并在强凸和平滑问题上建立起一个 O (1/T) 的收敛率，研究了部分设备参与的不同平均方案，结果表明数据的异质性会降低收敛速度，并提供了一个必要条件，即遇到非独立同分布数据时，学习率需要衰减否则结果将偏离最优解。

    Jul, 2019

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 联邦加速随机梯度下降

    本文提出了 Federated Accelerated Stochastic Gradient Descent (FedAc)，它是 Federated Averaging (FedAvg) 的一种加速方法，可以提高收敛速度和通信效率，特别是在凸函数和三阶平滑函数上有更强的性能表现。该技术基于基于潜力的扰动迭代分析、广义加速 SGD 的新型稳定性分析和加速与稳定性之间的战略权衡。

    Jun, 2020

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023

  • 联邦平均（局部 SGD）和连续视角的锐界

    本文介绍了在联邦学习中最流行的算法之一 - 联邦平均（FedAvg），尽管其简单易用，但至今其收敛率仍未确定，并且该算法的收敛速度受限于其假设的条件。该研究通过提供一个匹配现有上限的 FedAvg 下限解决了已有的收敛速度问题，同时还证实了在异质性聚集中，合理的下限几乎匹配了现有的上限，同时也证明了对于三阶平滑性的假设，该算法能在凸和非凸设置上实现更好的收敛性能。

    Nov, 2021

  • FedExP: 通过外推加速联邦平均算法

    通过运用 FedExP 方法，结合动态变化的伪梯度，可以自适应地决定在联邦学习中的服务器步长，并且实验结果显示在各种实际联邦学习数据集上，FedExP 比 FedAvg 和竞争基线更快地收敛。

    Jan, 2023

  • 使用递减本地 SGD 步骤的更快联邦学习

    本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

    May, 2023

  • FedSpeed: 更大的本地间隔，更少的通信轮次，更高的泛化准确性

    本文提出了 FedSpeed 方法，通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。

    Feb, 2023

  • 分散式聯合平均算法

    本文研究了联邦平均算法的去中心化版本，并使用无向图连接的客户端来实现，其在节点间仅通信与邻居节点；此外，还进一步研究了该算法的量化版本，并证明了在满足某些条件下该算法收敛性；最终通过数值实验验证了其有效性。

    Apr, 2021