Apr, 2024

梯度下降法与噪声注入的奇异极限分析

HTML
PDF
TL;DR在超参数化的情况下研究了一类噪声梯度下降系统的极限动力学。研究发现，噪声的结构不仅影响极限过程的形式，还影响演化的时间尺度。应用该理论比较了Dropout、标签噪声和经典SGD（小批量）噪声的演化过程，发现它们在不同的两个时间尺度上演化。这些研究结果受到神经网络训练的启发，但定理适用于任何具有非平凡零损失集的噪声梯度下降。
发现论文，激发创造
  • 训练更快，泛化更好: 随机梯度下降的稳定性

    本文证明使用随机梯度方法训练的参数模型少迭代次数即可实现消失的泛化误差，提供了新的对于随机梯度方法多周期泛化性能好的解释，对于神经网络的训练也有新的稳定性解释。

    Sep, 2015

  • 非凸优化中随机梯度下降的二阶保证

    本文研究了梯度下降算法在非凸优化问题中的性能保证，发现梯度噪声对逃脱鞍点和到达二阶稳定点的效率起到了关键作用，提出了一个基于均方方法的替代方案来保证梯度噪声的相对方差较小就足以确保逃脱鞍点，而不需要注入其他噪声或采用全局分散噪声假设。

    Aug, 2019

  • 具有状态相关噪声的随机梯度下降动态

    通过研究具有状态相关噪声的随机梯度下降的动态行为，我们证明了幂律动态可以比之前的动态更快地从锐化极小值中逃脱，从而提出了一种新方法来进一步提高其概括能力。

    Jun, 2020

  • 随机梯度下降中噪声的泛化益处

    研究表明在拥有相同迭代次数的情况下，小或适中大小的batch在测试集上比非常大的batch具有更好的表现，同时研究如何随着预算增长而改变最佳学习率计划，并提供一个基于随机微分方程的SGD动态的理论解释。

    Jun, 2020

  • 通过噪声增强改善泛化能力

    本文提出了一种名为'noise enhancement'的方法，可有效控制随机梯度下降中的噪声，进而提高训练的泛化性能，实验证明，其比小批量训练的效果更佳。

    Sep, 2020

  • 随机梯度下降中小批量噪声的强度

    分析随机梯度下降中，小批量抽样引起的噪声和波动，揭示了大学习率可以通过引入隐含的正则化来帮助泛化的内在规律，并且可以提供一种理解随机梯度下降离散时序性对其功率规律现象的影响。

    Feb, 2021

  • 机器学习类型的带噪随机梯度下降。第二部分：连续时间分析

    通过随机梯度下降和先进的基于随机梯度下降的算法找到人工神经网络的适当参数，优化算法在目标函数的某种噪声区域内倾向于选择“平坦”最小值，这一趋势与连续时间SGD与均匀噪声的选择是不同的。

    Jun, 2021

  • 标签噪声SGD可证明偏爱扁平化全局最小值

    研究过参数化模型，标签噪音等对随机梯度下降中的正则化作用及其影响。

    Jun, 2021

  • SGD的极限动力学:修改的损失，相空间振荡和反常扩散

    研究SGD训练的深度神经网络在性能收敛后的步长限制动态，揭示了优化超参数、梯度噪声结构及训练结束时Hessian矩阵之间错综复杂的相互作用，通过统计物理学的视角解释这种异常扩散现象并在ImageNet数据集的ResNet-18模型上得到了实证验证。

    Jul, 2021

  • 递归神经网络的梯度下降的收敛性: 非渐近分析

    我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

    Feb, 2024