最小最大问题的扩散随机优化

Jan, 2024

Diffusion Stochastic Optimization for Min-Max Problems

Haoyuan Cai, Sulaiman A. Alghunaim, Ali H. Sayed

TL;DR通过引入和分析一种名为 Diffusion Stochastic Same-Sample Optimistic Gradient (DSS-OG) 的新形式，我们解决了传统随机版本需要较大批次的问题，并在更一般的非凸 Polyak-Lojasiewicz (PL) 风险函数设置下，证明了它的收敛性和对大批次问题的更紧的上限，并将所提出的方法的适用性扩展到分布式场景。为了实现 DSS-OG，我们可以通过一些额外的内存开销并行查询随机梯度的预言机，导致其复杂性与传统的方法相当。通过训练生成对抗网络的测试，我们展示了所提出算法的有效性。

Abstract

The optimistic gradient method is useful in addressing minimax optimization problems. Motivated by the observation that the conventional stochastic version suffers from the need for a large batch size on the orde

optimistic gradient method minimax optimization diffusion stochastic same-sample optimistic gradient nonconvex polyak-lojasiewicz risk functions generative adversarial networks

发现论文，激发创造

基于乐观和锚定的随机梯度方法在极小极大问题上的 ODE 分析

本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的 simGD 算法和新的 anchored simGD 算法。

May, 2019

生成对抗网络中自适应梯度算法的深入理解

本文旨在从理论和实证角度分析适应性梯度算法在解决非凸非凹极小极大问题中的性能，并提出了一种名为乐观阿达格勒的自适应变体算法，证明了非凸非凹极小极大优化的自适应复杂性，并在生成对抗网络培训中显示出优越性能。

Dec, 2019

非凸随机梯度下降的扩散逼近

本研究从扰动动力学系统的角度研究了 SGD 优化算法在非凸优化问题中的应用，发现扰动过程可以弱化地近似 SGD 算法，并且批量大小对于深度神经网络具有明显影响，小批量有助于 SGD 算法避免不稳定驻点和锐利极小值，并且我们的理论表明，为了更好的泛化能力，应在后期增加批量大小以使 SGD 陷入平坦的极小值点。

May, 2017

基于修正偏置动量的加速随机极小 - 极大优化

针对非凸优化中最小最大优化问题，本研究提出了利用高效的 Hessian - 向量乘积的新型修正动量算法，建立了收敛条件并证明了所提算法的迭代复杂度为 O (ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。

Jun, 2024

拜占庭随机梯度下降

本文研究了在对抗性环境下分布式随机优化问题，其中包括部分机器为拜占庭故障，提出了解决方案并证明了算法的采样和时间复杂度均达到信息上界。

Mar, 2018

交替近端梯度步骤用于（随机）非凸 - 凹极小极大问题

本文针对非凸凹的情况，在最小极大问题中应用交替梯度下降方法找到临界点并证明了一种新的全局收敛速率。

Jul, 2020

局部随机梯度下降上升：收敛分析与通信效率

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。