ICMLMar, 2018

随机梯度下降中的各向异性噪声：脱离尖锐极小值的行为和正则化效应

PDF
TL;DR通过研究梯度下降优化动力学的一般形式，分析在逃离极值和其正则化效应方面的行为，提出了一个新颖的指标来表征逃离最小值的效率，并建立了两个条件来确定哪种类型的噪声结构在逃脱效率方面优于各向同性噪声。结果表明，随着与损失函数曲率的对齐，异性噪声有助于从尖锐和差的最小值中逃脱，趋向于更稳定、更平的最小值。
发现论文，激发创造
  • 随机梯度下降的噪声几何：定量和分析性特征化

    本文对超参数化线性模型和两层神经网络的噪声几何进行全面的理论研究，揭示了随机梯度下降在逃离尖锐极小值时存在沿平坦方向的显著分量。

    Oct, 2023

  • 用随机梯度逃离鞍点

    本文研究了在某些非凸机器学习模型中，随机梯度沿负曲率方向的方差，并展示了这些方向上的随机梯度表现出强烈的分量；此外，本文提出了一种新的假设，根据这个假设，注入显式同方差噪声的普通随机梯度下降可以成功地替代梯度下降逃脱鞍点；最后，本文提出了基于相同假设的简单 SGD 步骤的第一个收敛率，此收敛率独立于问题的维度。

    Mar, 2018

  • 自适应预处理随机梯度 Langevin 动力学

    本研究利用自适应参数预处理噪声的方法，将 Fisher Scoring 等高阶曲率信息引入 Stochastic Gradient Langevin Dynamics 中，使其能够有效地跳出深度神经网络中曲率异常的波动区域，与 Adam、AdaGrad 等一阶自适应方法的收敛速度相当，并在测试集上实现了与 SGD 同等的泛化性能。

    Jun, 2019

  • 形状对噪声协方差隐式偏差的影响

    本文中，我们理论上证明了随机梯度下降法（SGD）中参数相关噪声（由小批量或标签扰动引起）比高斯噪声更加有效，并且具有对训练过度参数化模型的重要隐式正则化效应。

    Jun, 2020

  • 随机梯度下降中小批量噪声的强度

    分析随机梯度下降中，小批量抽样引起的噪声和波动，揭示了大学习率可以通过引入隐含的正则化来帮助泛化的内在规律，并且可以提供一种理解随机梯度下降离散时序性对其功率规律现象的影响。

    Feb, 2021

  • 具有状态相关噪声的随机梯度下降动态

    通过研究具有状态相关噪声的随机梯度下降的动态行为，我们证明了幂律动态可以比之前的动态更快地从锐化极小值中逃脱，从而提出了一种新方法来进一步提高其概括能力。

    Jun, 2020

  • 随机梯度下降法的平衡定律和稳定分布

    随机梯度下降（SGD）算法是用于训练神经网络的算法。在这项工作中，我们证明了 SGD 的小批量噪声在有缩放对称性的损失函数中使解决方案朝着均衡解决方案正则化。我们应用这一结果来推导具有任意深度和宽度的对角线线性网络的随机梯度流的稳态分布，该稳态分布展示了相变、破坏性遍历和涨落反转等复杂的非线性现象，这些现象只存在于深度网络中，暗示着深度模型与浅模型之间的根本差异。

    Aug, 2023

  • 重尾梯度噪声下随机梯度下降的首次退出时间分析

    本研究提出了一种新的视角来分析随机梯度下降，即将其作为一阶随机微分方程（SDE）的离散化，进而推导出了使得离散化后的系统与连续时间系统行为相似的步长条件，并分析了算法和问题参数对误差的影响。

    Jun, 2019

  • 随机坍塌：梯度噪声如何将 SGD 动态吸引到更简单的子网络

    本研究揭示了 SGD 存在的强烈隐式偏差，由此驱使过度表达的神经网络倾向于变得更简单，从而显著减少独立参数数量，并改进了泛化能力。

    Jun, 2023

  • 标签噪声 SGD 可证明偏爱扁平化全局最小值

    研究过参数化模型，标签噪音等对随机梯度下降中的正则化作用及其影响。

    Jun, 2021