Nov, 2020

梯度饱和：神经网络的学习偏好

PDF
TL;DR本文探讨超参数神经网络学习中的梯度下降现象，发现其在最小化交叉熵损失时可能只捕获部分特征，而导致特征的不平衡。作者提出了一种理论解释，并使用动力系统理论中的工具来证明给定训练数据的某些统计结构时可以预期这种情况。此外，作者还提出了一种新的正则化方法来解决梯度饱和问题，并且在实验中得到了验证。
gradient descentover-parameterized neural networksgradient starvationlearning dynamicsregularization method
发现论文，激发创造
  • 深度学习理论 III：解释非过拟合谜题

    该研究探讨深度网络中的过拟合问题，发现梯度下降在非线性网络中的优化动力学与线性系统是等价的，同时也推广了梯度下降的两个性质到非线性网络中：隐式正则化以及最小范数解的渐近收敛，通过这些性质，可以提高模型的泛化能力，同时在分类任务中也能得到较好的分类误差。

    Dec, 2017

  • 损失函数中存在奇异点

    通过实验证明，随着数据集的规模增大，损失梯度的大小会形成一个奇点，梯度下降算法将迅速将神经网络接近该奇点，并且进一步的训练发生在该奇点附近。该奇点解释了神经网络损失函数 Hessian 矩阵的各种现象，如在稳定性的边缘进行训练和梯度在顶部子空间中的集中。一旦神经网络接近奇点，顶部子空间对学习的贡献很小，即使它构成了大部分梯度。

    Jan, 2022

  • 深度网络中的早停法：双重下降及其消除方法

    本文探讨了过度参数化模型，特别是深度神经网络，在训练期间错误率的演化现象，其原因是来自于不同部分在不同时期学习带来的偏差 - 方差权衡嵌套问题。通过合理调整步长，可以显著提高早停指标。

    Jul, 2020

  • 从惰性训练动态到丰富训练动态的领悟

    神经网络在从懒散训练动力学过渡到强大的特征学习规则时，产生 ' 领悟现象 '，通过研究多项式回归问题上的两层神经网络，我们发现特征学习速率和初始特征与目标函数的对齐是产生 ' 领悟现象 ' 的关键因素。

    Oct, 2023

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 过度参数化的非线性学习：梯度下降是否走过了最短路径？

    该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

    Dec, 2018

  • 两层神经网络和随机特征模型在梯度下降动态下优化和泛化属性的比较分析

    本研究 对二层神经网络模型的梯度下降动态进行了较全面的分析，并考虑了在更新两个层的参数时，一般的初始化方案以及网络宽度和训练数据大小的一般方案。在过度参数化的情况下，梯度下降动态可以快速地达到零训练损失，无论标签的质量如何。此外，证明了神经网络模型所表示的函数始终与核方法的函数保持一致。对于网络宽度和训练数据大小的一般值，建立了适当的再生核 Hilbert 空间的目标函数的尖锐估计。

    Apr, 2019

  • 单隐藏层神经网络梯度流性质与线性激活函数的研究

    通过研究神经网络的超参数化和过拟合对梯度下降算法鲁棒性的影响，我们证明了过度参数化会引入伪平衡点，阻碍梯度下降算法的收敛。

    May, 2023

  • 梯度下降如何学习特征 - 正则化双层神经网络的局部分析

    通过本地收敛分析，该论文展示了梯度下降通过精心正则化的目标函数在损失降至一定阈值以下后能够捕捉到真实方向，从而证明了特征学习不仅发生在初始梯度步骤，也可能发生在训练结束时。

    Jun, 2024

  • 大学习速率下梯度下降的稳定性

    在本文中，我们证明了在使用二次损失函数优化的线性神经网络中，梯度下降映射是非奇异的，损失函数的全局极小化集合形成平滑流形，并且稳定的极小值在参数空间中形成有界子集。另外，我们证明了如果步长过大，则使梯度下降收敛到临界点的初始化集合的测度为零。

    Feb, 2024