Jul, 2019

基于 Hessian 的 SGD 分析：深度网络的动力学和泛化

PDF
TL;DR本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。
stochastic gradient descentoptimization dynamicsgeneralizationhessiandeep nets
发现论文，激发创造
  • 大规模深度神经网络海森矩阵的全频谱：SGD 训练和样本规模的动态

    使用最先进的高维数值线性代数工具来有效近似现代深度学习网络巨大参数空间上的 Hessian 谱，研究发现该 Hessian 具有 “尖峰” 行为，同时分别分析各项的训练动态和样本大小变化情况。

    Nov, 2018

  • 随机梯度下降中的重尾现象

    本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

    Jun, 2020

  • 高维随机梯度下降与新兴异常特征空间的对齐

    通过随机梯度下降（SGD）和经验 Hessian 和梯度矩阵的谱的联合演化，我们严格地研究了训练动态的联合演化。我们证明，在多类高维混合和单层或两层神经网络的两个典型分类任务中，SGD 轨迹迅速与 Hessian 和梯度矩阵的新出现的低秩异常特征空间对齐。此外，在多层设置中，这种对齐是逐层进行的，最后一层的异常特征空间在训练过程中发生变化，并在 SGD 收敛到次优分类器时呈现秩亏。这些结果证实了过去十年中关于过参数化网络在训练过程中 Hessian 和信息矩阵的谱的广泛数值研究中出现的一些丰富预测。

    Oct, 2023

  • 使用部分海森矩阵的 SGD 优化深度神经网络

    基于二阶算法和 Hessian 矩阵的优化器 SGD-PH 在深度神经网络训练中取得了良好的性能。

    Mar, 2024

  • 教师 - 学生设置下的两层神经网络随机梯度下降动力学

    在大规模数据训练下，研究了超参数化两层神经网络在教师 - 学生的设置下的动态和表现，证明了 SGD 的一组微分方程可以捕捉到动态，同时揭示了不同激活函数找到的解决方案的不同表现，并发现了对于神经网络的良好泛化，不仅取决于 SGD 的性质，还取决于算法，模型架构和数据集的相互作用。

    Jun, 2019

  • 使用损失面几何精确刻画 SGD 的稳定性

    我们深入探讨了随机梯度下降（SGD）的线性稳定性与锐利度之间的关系，并介绍了一种损失海森矩阵的一致性度量，用于判断 SGD 在最优点处的线性不稳定性。

    Jan, 2024

  • SGD 的极限动力学：修改的损失，相空间振荡和反常扩散

    研究 SGD 训练的深度神经网络在性能收敛后的步长限制动态，揭示了优化超参数、梯度噪声结构及训练结束时 Hessian 矩阵之间错综复杂的相互作用，通过统计物理学的视角解释这种异常扩散现象并在 ImageNet 数据集的 ResNet-18 模型上得到了实证验证。

    Jul, 2021

  • 基于 Hessian 的大批量训练分析与对抗性鲁棒性

    本文探讨了通过 Hessian 算子和鲁棒优化来训练大批量神经网络的方法，并证明了大批量训练会将模型收敛到一个具有更高 Hessian 谱的点，而鲁棒训练可以在损失函数中偏向于平缓区域，从而达到鲁棒性。此外，实验和理论证明了鲁棒训练是一个大部分情况下不存在鞍点的优化问题。

    Feb, 2018

  • 高维双层神经网络中的随机梯度下降相图

    本文探讨了梯度下降在高维中非凸优化领域的应用，通过对浅层网络和窄网络的研究分析了其在全局收敛和局部最小值上的不同表现，研究了随机梯度下降的高维度动态学习中学习率、时间尺度和隐藏单元数量之间的相互作用，并提供了统计物理学中基于确定性描述的 SGD 收敛速率的扩展分析。

    Feb, 2022

  • 随机梯度下降中动态稳定的隐式正则化

    本文通过动态稳定性的角度研究了随机梯度下降法（SGD）的隐式正则化，并探讨了稳定的最小值对二层 ReLU 神经网络和对角线线性网络的广义性能影响，发现 SGD 的稳定性正则化较于 GD 更强，LR 越大效果越明显，解释了为什么 SGD 比 GD 更具普适性。

    May, 2023