Oct, 2023

分散随机梯度下降上升算法的稳定性和泛化性

PDF
TL;DR我们研究了分布式随机梯度上升下降（D-SGDA）算法的原始 - 对偶广义界限，通过算法稳定性方法，在凸凹和非凸非凹环境下对分布式最小最大算法的广义界限进行了改进。我们的理论研究表明，分布式结构不会破坏 D-SGDA 的稳定性和广义化能力，在某些情况下可以实现和普通 SGDA 相同的广义化能力。此外，我们还评估了凸凹设定下 D-SGDA 算法的优化误差，并将其与广义间隙相平衡，以获得最佳的总体风险。最后，我们进行了多项数值实验来验证我们的理论发现。
decentralized minimax algorithmsprimal-dual generalization boundd-sgda algorithmalgorithmic stabilitynumerical experiments
发现论文，激发创造
  • 分散随机梯度下降的稳定性和泛化能力

    本论文提出了分散化随机梯度下降法的新方法，并使用（非）凸优化理论建立了第一个针对分散化随机梯度下降法的稳定性和泛化保证。我们的理论结果基于少数常见且温和的假设，并揭示分散化将首次降低 SGD 的稳定性。通过使用多种分散化设置和基准机器学习模型，证实了我们的理论发现。

    Feb, 2021

  • 分散式 SGD 算法的稳定性和泛化分析改进

    本文提出 Decentralized Stochastic Gradient Descent 算法的泛化误差分析，并据此证明在凸设置下，不论选择哪种通信图，D-SGD 算法的泛化界限与经典 SGD 算法相同，即前人论述的通信图对泛化的不利影响并不成立。

    Jun, 2023

  • 局部随机梯度下降上升：收敛分析与通信效率

    本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

    Feb, 2021

  • 同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

    本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

    Oct, 2020

  • 随机梯度下降法在极小极大问题中的稳定性和泛化性

    通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

    May, 2021

  • 梯度下降上升的收敛性：一个严格的局部分析

    本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明 GDA 在本地条件数为 y 时的步长比至少需要为 θ（Kappa），并支持在随机 GDA 和额外梯度方法（EG）中的应用。

    Jul, 2022

  • 随机梯度下降 - 上升：统一理论和新高效方法

    本文提出了 SGDA 的统一收敛性分析框架，覆盖了各种随机梯度下降上升方法，并分别提出了多种新变体方法，通过大量数值实验证明了这些方法的重要性质。

    Feb, 2022

  • 一类非凸非凹极小极大问题的全局收敛与方差缩减优化

    研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

    Feb, 2020

  • 去中心化随机极小极大优化算法是否能以线性收敛于有限和的非凸非凹问题？

    本文针对分布式算法模型中面临的发散问题，提出了两种基于随机梯度下降的算法，并证明了其具有良好的收敛性能，这是首个针对分布式情况下的凸 - 非凸问题的线性收敛性的成果。

    Apr, 2023

  • 拓扑感知的去中心化 SGD 的泛化

    研究了分散随机梯度下降（D-SGD）算法的算法稳定性和分布特性，证明了 D-SGD 认为的共识模型具有稳定性，证明了 D-SGD 具有一般化的可行性。D-SGD 的可行性与谱间隙呈正相关，并且可以解释为什么最初的培训阶段的共识控制可以确保更好的一般化，这是 vanilla-D-SGD 的拓扑感知广义性的第一个工作。

    Jun, 2022