Feb, 2024

Adam 和随机梯度下降优化的全局最小值非收敛问题及人工神经网络训练中的局部最小值构建

PDF
TL;DR在对使用 ReLU 和相关激活函数的浅层人工神经网络进行研究中，我们发现随机梯度下降（SGD）方法（如纯独立 SGD、动量 SGD、AdaGrad、RMSprop 和 Adam 优化器）高概率无法收敛到全局最小值，并证实了 ANN 训练问题的优化空间中存在具有不同风险值的局部最小值的分层结构。
stochastic gradient descentartificial neural networksoptimization landscapeconvergencelocal minimizers
发现论文，激发创造
  • 通过星型凸路径，SGD 在深度学习中收敛到全局最小值

    本研究证明了随机梯度下降法 (SGD) 可训练深度神经网络，甚至可以收敛于全局最小值。这一结果得益于多个实验验证了 SGD 可以遵循恒星凸轨迹和训练损失近似于零值等性质，并以新方式揭示了 SGD 以确定性方式收敛于全局最小值。

    Jan, 2019

  • 使用恒定大学习率的 SGD 可收敛于局部最大值

    本文研究了随机梯度下降（SGD）算法的全局最优性，在探究了之前研究的局限性之后，发现在一些情况下，SGD 可能表现出奇怪且不可取的行为。作者通过构建高维度的优化问题及数据分布，证明了 SGD 在大多数情况下会收敛到局部最大值，逃离鞍点所需时间会相当长，会偏爱锐利的最小值而非平坦的。文中还举了一个小型神经网络作为实例来验证理论，结果强调深度学习中 SGD 的重要性，需要同时分析小批量采样、离散时间更新和实际数据名称等因素。

    Jul, 2021

  • 随机梯度下降优化超参数化的深度 ReLU 网络

    研究如何使用 ReLU 激活函数、梯度下降和随机梯度下降来训练深度神经网络，证明在一定条件下，充分的随机权重初始化能够让这些方法在超参数化的深层 ReLU 网络上达到全局最小值。

    Nov, 2018

  • 关于训练循环神经网络的收敛速率

    本文研究了如何在训练多层神经网络时，通过采用类局部搜索方法（如随机梯度下降）避免陷入不良局部最小值，在给定非凸非光滑结构的情况下，它们如何适应随机标签；研究了在神经网络中如何使用 ReLU 激活函数避免指数梯度爆炸或消失；通过构建扰动理论，该理论可用于分析 ReLU 激活的多层网络的一阶数学逼近。

    Oct, 2018

  • 具有 ReLU 激活函数的双层神经网络的收敛性分析

    本文分析了使用随机梯度下降（SGD）训练包含 ReLU 激活函数的两层前馈神经网络中所谓的 “恒等映射” 结构和高斯分布输入的情况下 SGD 收敛的机理，并通过实验证明使用该结构的多层神经网络具有比普通神经网络更好的性能。

    May, 2017

  • 一个替代观点：随机梯度下降在何时逃离局部极小值？

    本文研究证明随机梯度下降算法可以在一些非凸函数下工作，这说明了为什么 SGD 在神经网络中工作得非常好。

    Feb, 2018

  • 标准化方向保留 Adam

    本文提出了一种变种 Adam 算法 - 基于方向保持且具有归一化的 Adam 算法 (ND-Adam)，通过更精确的权重向量更新来消除 Adam 和 SGD 之间的推广差距，并进一步改善了分类任务中的推广性能。

    Sep, 2017

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析

    我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。

    Jun, 2024

  • 机器学习中自适应梯度方法的边际价值

    本文研究了使用自适应优化方法训练深度神经网络的表现，提出了一些简单超参数问题，发现自适应方法得到的结果往往比梯度下降方法差，甚至可能导致结果更糟糕，建议实践者重新考虑使用自适应方法训练神经网络。

    May, 2017