通过星型凸路径，SGD 在深度学习中收敛到全局最小值

ICLRJan, 2019

通过星型凸路径，SGD 在深度学习中收敛到全局最小值

SGD Converges to Global Minimum in Deep Learning via Star-convex Path

Yi Zhou, Junjie Yang, Huishuai Zhang, Yingbin Liang, Vahid Tarokh

TL;DR本研究证明了随机梯度下降法 (SGD) 可训练深度神经网络，甚至可以收敛于全局最小值。这一结果得益于多个实验验证了 SGD 可以遵循恒星凸轨迹和训练损失近似于零值等性质，并以新方式揭示了 SGD 以确定性方式收敛于全局最小值。

Abstract

stochastic gradient descent (SGD) has been found to be surprisingly effective in training a variety of deep neural networks. However, there is still a lack of understanding on how and why SGD can train these comp

stochastic gradient descent deep neural networks nonconvex optimization global minimum deterministic convergence

发现论文，激发创造

一个替代观点：随机梯度下降在何时逃离局部极小值？

本文研究证明随机梯度下降算法可以在一些非凸函数下工作，这说明了为什么 SGD 在神经网络中工作得非常好。

Feb, 2018

Adam 和随机梯度下降优化的全局最小值非收敛问题及人工神经网络训练中的局部最小值构建

在对使用 ReLU 和相关激活函数的浅层人工神经网络进行研究中，我们发现随机梯度下降（SGD）方法（如纯独立 SGD、动量 SGD、AdaGrad、RMSprop 和 Adam 优化器）高概率无法收敛到全局最小值，并证实了 ANN 训练问题的优化空间中存在具有不同风险值的局部最小值的分层结构。

Feb, 2024

使用恒定大学习率的 SGD 可收敛于局部最大值

本文研究了随机梯度下降（SGD）算法的全局最优性，在探究了之前研究的局限性之后，发现在一些情况下，SGD 可能表现出奇怪且不可取的行为。作者通过构建高维度的优化问题及数据分布，证明了 SGD 在大多数情况下会收敛到局部最大值，逃离鞍点所需时间会相当长，会偏爱锐利的最小值而非平坦的。文中还举了一个小型神经网络作为实例来验证理论，结果强调深度学习中 SGD 的重要性，需要同时分析小批量采样、离散时间更新和实际数据名称等因素。

Jul, 2021

解密 SGD 非凸收敛的神话与传说

通过分析，本文展示了当总迭代次数足够大时，随机梯度下降法（SGD）的最终迭代中存在一个 ε- 稳定点，这是一个比现有结果更强的结论，并且可以在 SGD 的最终迭代中度量 ε- 稳定点的密度，同时对于目标函数和随机梯度的边界条件，我们恢复了经典的 O (1/√T) 渐进速率，此分析结果解决了与 SGD 的非凸收敛性相关的某些迷思和传说，并提出了一些有启发性的研究方向。

Oct, 2023

关于训练深层线性 ResNets 的全局收敛性

本研究讨论使用梯度下降和随机梯度下降算法进行训练具有 $L$ 层隐藏层的线性残差神经网络（ResNets）所需的网络宽度和线性变换；并且证明了在特定的线性变换和零初始化条件下，GD 和 SGD 算法能够收敛到最小训练误差的全局最小值。

Mar, 2020

深度学习的超参数化收敛理论

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

过度参数化的非线性学习：梯度下降是否走过了最短路径？

该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

Dec, 2018

两层神经网络格势的均场视角

本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

Apr, 2018

深度学习理论 IIb：SGD 的优化特性

本文结合实验和理论，对深度卷积网络的随机梯度下降进行了优化，并提出了一种新的猜想，即 SGD 会在概率上集中于大体积的 “平坦” 极小值，选择刚好也是全局最小值的 “平坦” 极小值。

Jan, 2018

深度神经网络在局部 Lajasiewicz 条件下随机梯度下降的收敛

在考虑非凸目标函数的随机梯度下降的情况下，我们扩展了 Chatterjee（2022）的全局收敛结果。我们证明，如果我们初始化到一个局部区域，其中 Lajasiewicz 条件成立，那么在该局部区域内，具有正概率的随机梯度迭代会收敛到全局最小值，并且我们的证明的关键组成部分是确保 SGD 的整个轨迹以正概率留在局部区域内。为此，我们假设 SGD 噪声与目标函数成比例，称为机器学习噪声，并可在许多实际示例中实现。此外，我们提供了一个负面的论据，以表明使用类似于 Robbins-Monro 类型步长的有界噪声是不足以保持主要组成部分有效的。

Apr, 2023