Apr, 2024

梯度下降法与噪声注入的奇异极限分析

PDF
TL;DR在超参数化的情况下研究了一类噪声梯度下降系统的极限动力学。研究发现，噪声的结构不仅影响极限过程的形式，还影响演化的时间尺度。应用该理论比较了 Dropout、标签噪声和经典 SGD（小批量）噪声的演化过程，发现它们在不同的两个时间尺度上演化。这些研究结果受到神经网络训练的启发，但定理适用于任何具有非平凡零损失集的噪声梯度下降。
noisy gradient descentoverparameterized regimelimiting dynamicsgeneralisation propertiesneural networks
发现论文，激发创造
  • 重尾梯度噪声下随机梯度下降的首次退出时间分析

    本研究提出了一种新的视角来分析随机梯度下降，即将其作为一阶随机微分方程（SDE）的离散化，进而推导出了使得离散化后的系统与连续时间系统行为相似的步长条件，并分析了算法和问题参数对误差的影响。

    Jun, 2019

  • 随机梯度下降中小批量噪声的强度

    分析随机梯度下降中，小批量抽样引起的噪声和波动，揭示了大学习率可以通过引入隐含的正则化来帮助泛化的内在规律，并且可以提供一种理解随机梯度下降离散时序性对其功率规律现象的影响。

    Feb, 2021

  • 标签噪声 SGD 可证明偏爱扁平化全局最小值

    研究过参数化模型，标签噪音等对随机梯度下降中的正则化作用及其影响。

    Jun, 2021

  • 机器学习类型的带噪随机梯度下降。第二部分：连续时间分析

    通过随机梯度下降和先进的基于随机梯度下降的算法找到人工神经网络的适当参数，优化算法在目标函数的某种噪声区域内倾向于选择 “平坦” 最小值，这一趋势与连续时间 SGD 与均匀噪声的选择是不同的。

    Jun, 2021

  • SGD 达到零损失后会发生什么？—— 数学框架

    该论文提出了一个可以研究 Stochastic Gradient Descent 在 overparametrized 模型中的隐式偏差的通用框架，该框架使用一个描述参数极限动态的随机微分方程，并考虑了任意噪声协方差，文中给出了一些新结果，同时可以在线性模型中进行应用。

    Oct, 2021

  • 有限学习率随机梯度下降的噪声与波动

    本文探究了随机梯度下降（SGD）及其变种在非消失学习率模式下的基本性质，特别是推导了离散时间 SGD 在二次损失函数中的稳态分布，讨论了其影响，并考虑了 SGD 变体的逼近误差、小批量噪音效应、最优贝叶斯推断、从尖锐最小值的逃逸率和几种包括阻尼牛顿法、自然梯度下降和 Adam 的二阶方法的稳态协方差等应用。

    Dec, 2020

  • SGD 的极限动力学：修改的损失，相空间振荡和反常扩散

    研究 SGD 训练的深度神经网络在性能收敛后的步长限制动态，揭示了优化超参数、梯度噪声结构及训练结束时 Hessian 矩阵之间错综复杂的相互作用，通过统计物理学的视角解释这种异常扩散现象并在 ImageNet 数据集的 ResNet-18 模型上得到了实证验证。

    Jul, 2021

  • 关于噪声梯度下降泛化为随机梯度下降的研究

    本研究探讨了梯度噪声在深度学习中的正则化作用，发现除了随机梯度下降噪声外，其他类型的噪声也能有效地进行梯度下降的正则化。同时该研究提出了一种噪声下降的算法，能够拓展噪声的选择，有利于大批量 SGD 训练，同时也不会影响泛化性能。

    Jun, 2019

  • 非凸随机梯度下降的扩散逼近

    本研究从扰动动力学系统的角度研究了 SGD 优化算法在非凸优化问题中的应用，发现扰动过程可以弱化地近似 SGD 算法，并且批量大小对于深度神经网络具有明显影响，小批量有助于 SGD 算法避免不稳定驻点和锐利极小值，并且我们的理论表明，为了更好的泛化能力，应在后期增加批量大小以使 SGD 陷入平坦的极小值点。

    May, 2017

  • 深度神经网络中随机梯度噪声的尾指数分析

    本文研究深度学习中随机梯度下降算法中的梯度噪声，认为它通常不服从高斯分布，而是服从重尾的 α 稳定分布。作者建议使用 Lévy motion 来描述梯度噪声驱动的随机微分方程，并验证了此假设在不同深度学习架构和数据集中的正确性。此研究为深度学习的最优化提供了新的视角和更多见解。

    Jan, 2019