随机平滑梯度下降上升用于联邦极小极大优化

Nov, 2023

随机平滑梯度下降上升用于联邦极小极大优化

Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization

Wei Shen, Minhui Huang, Jiawei Zhang, Cong Shen

TL;DR本文提出了一种名为 Federated Stochastic Smoothed Gradient Descent Ascent (FESS-GDA) 的新算法，利用平滑技术进行联邦极小极大优化，并通过实证研究展示了其在生成对抗网络（GANs）和公平分类的实际联邦学习任务中的实用效率。

Abstract

In recent years, federated minimax optimization has attracted growing interest due to its extensive applications in various machine learning tasks. While Smoothed Alternative Gradient Descent Ascent (smoothed-agda

federated minimax optimization smoothed-agda smoothing technique federated stochastic smoothed gradient descent ascent (fess-gda)practical federated learning tasks

发现论文，激发创造

局部随机梯度下降上升：收敛分析与通信效率

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

Feb, 2021

SAGDA: 在联邦式 Min-Max 学习中实现 O (ε^{-2}) 通信复杂度

本文提出了一种名为 SAGDA 的新算法框架，用于降低联邦 min-max 学习的通信复杂度，并在此基础上提高了对标准 FSGDA 方法通信复杂度的理解。

Oct, 2022

分散随机梯度下降上升算法的稳定性和泛化性

我们研究了分布式随机梯度上升下降（D-SGDA）算法的原始 - 对偶广义界限，通过算法稳定性方法，在凸凹和非凸非凹环境下对分布式最小最大算法的广义界限进行了改进。我们的理论研究表明，分布式结构不会破坏 D-SGDA 的稳定性和广义化能力，在某些情况下可以实现和普通 SGDA 相同的广义化能力。此外，我们还评估了凸凹设定下 D-SGDA 算法的优化误差，并将其与广义间隙相平衡，以获得最佳的总体风险。最后，我们进行了多项数值实验来验证我们的理论发现。

Oct, 2023

解决联邦学习中一类非凸极小化最大化优化问题

我们研究了一类联邦非凸极小极大优化问题，提出了 FL 算法，并减少了对最常见的极小极大问题的通信复杂度。

Oct, 2023

随机梯度下降 - 上升：统一理论和新高效方法

本文提出了 SGDA 的统一收敛性分析框架，覆盖了各种随机梯度下降上升方法，并分别提出了多种新变体方法，通过大量数值实验证明了这些方法的重要性质。

Feb, 2022

一种单环平滑梯度下降 - 上升算法用于非凸凹极小极大问题

该研究介绍了一种与梯度下降上升（GDA）算法相结合的 “平滑” 方案，以解决非凸 - 凹最小 - 最大问题，此方案能够稳定振荡，并确保收敛到一个定值解。实验结果表明，平滑后的 GDA 算法对于 minimizing pointwise maximum of a finite collection of nonconvex functions 可以实现 O (1/ε^2) 的迭代复杂度，对于 general nonconvex-concave problems 可以实现 O (1/ε^4) 的迭代复杂度，并且将该算法扩展到多个区块的情况下。

Oct, 2020

加速随机梯度下降求解有限和最小化

本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

Jun, 2015

联邦加速随机梯度下降

本文提出了 Federated Accelerated Stochastic Gradient Descent (FedAc)，它是 Federated Averaging (FedAvg) 的一种加速方法，可以提高收敛速度和通信效率，特别是在凸函数和三阶平滑函数上有更强的性能表现。该技术基于基于潜力的扰动迭代分析、广义加速 SGD 的新型稳定性分析和加速与稳定性之间的战略权衡。

Jun, 2020

交替梯度下降上升法在极小极大优化中的近最优局部收敛

本文研究交替梯度下降 - 上升算法在极小极大博弈中的应用，表明交替更新算法在多个场景下比同步算法更优，能够在强凸 - 强凹问题上达到几乎最优的局部收敛速率。同时，作者还介绍了一种全局性能相同的子类应用于极小极大博弈上的积分二次约束理论。实证结果表明，交替更新加速了生成对抗网络的训练，但仅在同步算法上使用乐观主义才有帮助。

Feb, 2021

耗散梯度递降上升法：一种受控制理论启发的极小极大优化算法

梯度下降和上升（GDA）法用于最小 - 最大优化问题时，通常会产生振荡行为，容易导致不稳定性，为解决这一问题，本文提出了一种通过引入耗散项来抑制振荡的方法，称为 Dissipative GDA (DGDA)，DGDA 方法可以看作是在一个状态增广和规则化的鞍点函数上执行标准 GDA，该方法在双线性和强凸 - 强凹设置中具有线性收敛性，并通过与其他方法（如 GDA、Extra-Gradient，以及 Optimistic GDA）的比较来评估其性能，实验结果表明 DGDA 超过了这些方法，实现了更好的收敛速度，通过两个数值例子展示了 DGDA 方法在求解鞍点问题中的有效性。

Mar, 2024