Jan, 2022

服务器端步长和无替换采样在联邦优化中被证明有效

HTML
PDF
TL;DR本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶颈问题。
发现论文，激发创造
  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为FedLaAvg的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为$ O(E^{1/2}/(N^{1/4}T^{1/2}))$的水平。

    Feb, 2020

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括Adagrad，Adam和Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 联邦学习与元学习中的收敛与准确性权衡

    研究一种称为“本地更新方法”的算法族，它可以泛化许多联邦和元学习算法，并证明对于二次模型，本地更新方法等价于对我们精确表征的代理损失进行一阶优化。

    Mar, 2021

  • FedPAGE：一种快速局部随机梯度法，用于通信效率高的联邦学习

    本文提出了一种新的联邦学习算法FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。

    Aug, 2021

  • 关于联邦学习的二阶优化方法

    本研究考虑分布式学习中的标准优化方法FedAvg，对比了多种具有良好收敛性质的二阶分布式方法，发现FedAvg表现出乎意料好，提出了一种使用二阶局部信息和全局线性搜索的新变种。

    Sep, 2021

  • FedSSO: 一种联合服务器端二阶优化算法

    提出了FedSSO，一种用于联邦学习的服务器端二阶优化方法，通过使用服务器端近似的拟牛顿方法，我们不仅将计算负担转移给了服务器，而且完全消除了客户端和服务器之间用于二阶更新的额外通信，我们提供了对新方法的收敛的理论保证，并在凸和非凸环境中展示了快速收敛和通信节省。

    Jun, 2022

  • FedExP: 通过外推加速联邦平均算法

    通过运用FedExP方法，结合动态变化的伪梯度，可以自适应地决定在联邦学习中的服务器步长，并且实验结果显示在各种实际联邦学习数据集上，FedExP比FedAvg和竞争基线更快地收敛。

    Jan, 2023

  • 使用递减本地SGD步骤的更快联邦学习

    本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

    May, 2023

  • 基于随机泊松步长的本地自适应联邦学习

    本文介绍了一种基于 Stochastic Polyak Stepsize 的联邦学习算法 FedSPS，该算法具有局部自适应性和近乎无参数，且可以达到与 FedAvg 相当的优化性能。

    Jul, 2023

  • 减小自适应无偏客户抽样的方差以探索联邦优化

    提出了一种自适应客户端采样的新方法K-Vib，可以在不需要额外的本地通信和计算的情况下，构建可靠的全局估计，从而提高联邦优化的性能。

    Oct, 2023