Oct, 2022

SAGDA: 在联邦式 Min-Max 学习中实现 O (ε^{-2}) 通信复杂度

PDF
TL;DR本文提出了一种名为 SAGDA 的新算法框架，用于降低联邦 min-max 学习的通信复杂度，并在此基础上提高了对标准 FSGDA 方法通信复杂度的理解。
发现论文，激发创造
  • 局部随机梯度下降上升：收敛分析与通信效率

    本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

    Feb, 2021

  • 随机平滑梯度下降上升用于联邦极小极大优化

    本文提出了一种名为 Federated Stochastic Smoothed Gradient Descent Ascent (FESS-GDA) 的新算法，利用平滑技术进行联邦极小极大优化，并通过实证研究展示了其在生成对抗网络（GANs）和公平分类的实际联邦学习任务中的实用效率。

    Nov, 2023

  • 解决联邦学习中一类非凸极小化最大化优化问题

    我们研究了一类联邦非凸极小极大优化问题，提出了 FL 算法，并减少了对最常见的极小极大问题的通信复杂度。

    Oct, 2023

  • FedPAGE：一种快速局部随机梯度法，用于通信效率高的联邦学习

    本文提出了一种新的联邦学习算法 FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的 SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。

    Aug, 2021

  • BROADCAST: 减少随机噪声和压缩噪声以增强通信效率的联邦学习

    本文探讨了在大规模联邦学习中由于通信过载而引起的压缩问题，提出了一种可减少噪声并提高拜占庭攻击鲁棒性的压缩梯度差分方法，并提供了理论证明和数值实验结果。

    Apr, 2021

  • 混合全局和局部模型的联邦学习

    提出针对联邦学习模型的新型优化公式，通过寻求全局模型与本地模型之间的平衡，使各参与设备能够从其私有数据中学习，而不需要通信。此方法类似于联邦平均 /local SGD，但能够改善具有异构数据的问题的通信，同时发现个性化能够降低通信复杂度。

    Feb, 2020

  • 大步长同步分布式 SGD 的通信权衡

    本文提出了一种名为 local-SGD 的算法，通过逐步同步而非每一步都进行通信提高了通信效率，同时在大步长情况下提供了自适应下限比较。

    Apr, 2019

  • SCAFFLSA: 量化和消除联邦式线性随机逼近和时序差异学习中的异质性偏差

    本文对联邦线性随机逼近（FedLSA）算法进行了非渐进分析，定量化了异质代理的本地训练引入的偏差，并调查了算法的样本复杂度。我们展示了 FedLSA 的通信复杂度与所需精度 ε 的多项式缩放，从而限制了联邦的好处。为了克服这一问题，我们提出了 SCAFFLSA，这是 FedLSA 的一种新变体，它使用控制变量来校正本地训练的偏差，并证明其在统计异质性方面没有假设的收敛性。我们将所提出的方法应用于使用线性函数逼近的联邦时序差异学习，并分析了相应的复杂度改进。

    Feb, 2024

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019