Oct, 2021

深度学习训练不稳定性的损失曲率视角

PDF
TL;DR本论文探究了损失海森矩阵在多项分类任务中的演化，以了解损失曲率对训练动态的影响。结果表明，成功的模型和超参数选择能够使早期的优化轨迹避免或穿越高曲率区域并进入扁平区域，提高学习率稳定性，类似于各种训练不稳定性缓解策略最终解决神经网络优化的相同失效模式，即差的条件。
发现论文，激发创造
  • 大学习率训练的不稳定性：一个损失景观视角

    该研究通过考虑具有较大学习率的网络训练过程中的海森矩阵，研究了损失函数空间，揭示了梯度下降的不稳定性，且观察到了景观平坦化和景观移位的引人注目现象，这两者与训练的不稳定性密切相关。

    Jul, 2023

  • 神经网络初始化中的金发女郎区域解构

    这篇论文通过对深度学习模型的优化动力学进行全面分析，探讨了训练损失的二阶性质对模型的影响，特别关注了与高度可训练的初始点相关联的 “Goldilocks zone” 概念，提出了正曲率对深度网络的可训练性的重要性，并讨论了与模型自信度、初始损失和消失的交叉熵损失梯度等方面的关联。

    Feb, 2024

  • 神经损失景观的局部几何的新兴特性

    本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

    Oct, 2019

  • 稳定性边界训练的原因 —— 分层雅可比对齐

    用指数欧拉求解器训练神经网络，以准确近似真实的梯度下降动态系统，证明了 Hessian 矩阵的锐度增加是由于网络的逐层 Jacobian 矩阵对齐导致的，而对齐程度与数据集大小呈幂律关系，相关性系数在 0.74 到 0.98 之间。

    May, 2024

  • 高瑞德区间：走向更好的神经网络损失函数景观理解

    通过在低维度的超平面和超球面上评估代价函数的海森矩阵，我们发现全连接神经网络和卷积神经网络的代价函数在它们的空间参数半径较大的固定范围内，具有异常的凸性和正曲率，此处我们称之为 “金发姑娘区间”，该效应与神经元网络的初始化方法，包括公共初始化技巧之间有着密切的关联。

    Jul, 2018

  • 损失地形的曲率研究

    通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

    Jul, 2023

  • 损失函数中存在奇异点

    通过实验证明，随着数据集的规模增大，损失梯度的大小会形成一个奇点，梯度下降算法将迅速将神经网络接近该奇点，并且进一步的训练发生在该奇点附近。该奇点解释了神经网络损失函数 Hessian 矩阵的各种现象，如在稳定性的边缘进行训练和梯度在顶部子空间中的集中。一旦神经网络接近奇点，顶部子空间对学习的贡献很小，即使它构成了大部分梯度。

    Jan, 2022

  • 深度神经网络优化轨迹上的盈亏平衡点

    本文探讨了随机梯度下降在神经网络早期训练阶段中的超参数，指出通过在初期采用大学习率可以减小梯度的方差和提高梯度的协方差矩阵的条件数，在超过 “盈亏平衡点” 之后，通过随机梯度下降法优化可以隐式地正则化损失曲面的曲率以及梯度中的噪声等问题，这对于神经网络的优化效果具有积极作用，研究这些影响对于泛化性能的影响是一个有前途的研究方向。

    Feb, 2020

  • 自稳定性：梯度下降在稳定边缘的隐性偏差

    本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。

    Sep, 2022

  • 深度学习解释中高阶损失逼近和特征的影响理解

    本研究探讨了在深度学习的解释中，损失函数的 Hessian 矩阵和高阶项，以及特征间的依赖性对解释的影响，并通过实验验证了对组特征进行加权考虑可以显著提高解释的准确性。

    Feb, 2019