Jan, 2021

使用梯度下降和弱凸损失进行学习

PDF
TL;DR本研究探讨了当经验风险为弱凸函数时，梯度下降的学习性能，并通过将最小负特征值应用于控制梯度下降的稳定性，从而证明了与先前的研究相比，其持有更广范围步长的一般化误差界。当经验风险满足局部弱凸性时，可以通过对网络进行归一化来控制误差，其中，两层神经网络的经验风险可以满足局部弱凸性。通过权衡网络复杂度和缩放，深入探讨了神经网络缩放的隐式偏差，并得出实验结果的支持。
gradient descentweakly convexgeneralization errorneural networknetwork scaling
发现论文，激发创造
  • 深度神经网络中海森矩阵的负特征值

    本文通过对深度网络的黑塞矩阵的特征值分解研究深度网络的损失地形，特别关注负特征值的重要性及其适当处理的益处。

    Feb, 2019

  • 非凸优化中具有概率保障的随机梯度下降泛化误差界

    本文探讨了深度学习模型的一种优化方法 —— 随机梯度下降在泛化能力上的稳定性，提出了一种基于梯度方差的稳定性指标，并在此基础上分别分析了常规非凸损失函数、梯度主导性损失函数和带强凸规则化器的问题，得到了一系列改进的泛化误差界。

    Feb, 2018

  • 神经网络梯度下降通常发生在稳定边缘

    本研究通过实验证明神经网络训练目标的全批量梯度下降通常处于稳定性的边缘状态。在这种状态下，训练损失 Hessian 的最大特征值略高于数值 $2/ ext {(步长)}$，训练损失在短时间内呈现非单调行为，但在长时间尺度上保持下降态势。鉴于这种行为与优化领域中的一些传统观念不一致，我们的发现提出了关于这些观念是否与神经网络训练 relevant 的质疑。我们希望我们的研究能够激发未来针对稳定性边缘优化问题的进一步研究。

    Feb, 2021

  • 大学习速率下梯度下降的稳定性

    在本文中，我们证明了在使用二次损失函数优化的线性神经网络中，梯度下降映射是非奇异的，损失函数的全局极小化集合形成平滑流形，并且稳定的极小值在参数空间中形成有界子集。另外，我们证明了如果步长过大，则使梯度下降收敛到临界点的初始化集合的测度为零。

    Feb, 2024

  • 自稳定性：梯度下降在稳定边缘的隐性偏差

    本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。

    Sep, 2022

  • 浅层线性神经网络的全局优化几何

    本文研究了浅层线性神经网络的平方误差损失景观。研究表明，对于相应的优化问题，其具有良好的几何性质，没有虚假局部极值，每个鞍点的 Hessian 矩阵至少有一个负特征值。这意味着在每个鞍点处，都有一个负的曲率方向可以用来优化目标函数值，因此很多局部搜索算法，如梯度下降，可以证明具有全局收敛性。

    May, 2018

  • 鲁棒梯度下降的高效学习

    提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

    Jun, 2017

  • 渐进锐化、平坦最小值和泛化

    我们提出了一种新的方法来理解深度学习中损失曲率和泛化之间的关系，特别地，我们使用深度网络损失 Hessian 频谱的现有经验分析来基于一个猜想将深度神经网络的损失 Hessian 和输入输出 Jacobian 联系在一起。我们证明了一系列理论结果，这些结果量化了模型的输入输出 Jacobian 在数据分布上近似其 Lipschitz 范数的程度，并在经验 Jacobian 的术语中推导出一个新的泛化界限。我们使用我们的猜想以及我们的理论结果来提供一个关于最近观察到的渐进锐化现象以及平坦极小值的泛化特性的新解释。我们提供了实验证据来验证我们的论点。

    May, 2023

  • 超参数神经网络的梯度下降动力学

    本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。

    May, 2021

  • 高维分析揭示保守的锐化和随机稳定边缘

    在全批量情况下，训练损失 Hessian 的大特征值动态具有某些显著稳定的特征。在随机设置中，特征值的增长速度较慢，我们称之为保守锐化。我们提供了一个简单的高维模型的理论分析来解释这种减速现象。我们还展示了随机稳定边界的替代解释，它在小批量的情况下与神经切线核的迹有关，而不是大的 Hessian 特征值。我们进行了实验研究，突出了与全批量现象的定性差异，并表明控制随机稳定边界可以帮助优化。

    Apr, 2024