Jan, 2019

深度神经网络 Hessian 谱中离群点的三层分层结构测量

PDF
TL;DR通过对参数与模型 logits 导数结构的研究，我们发现了导致 Hessian 特异值异常的二阶矩矩阵结构，该结构可以通过平均操作来近似 Hessian 的主子空间，避免高维特征值分析的需求。
deep classifying neural networkshessianoutliersderivativessecond moment matrix
发现论文，激发创造
  • 超参数神经网络海森矩阵的实证分析

    我们研究了常见损失曲面的性质，并针对深度学习，通过 Hessian 矩阵的谱将其分为两个部分，并证明了 Sagun 等人所述的猜想。我们的观察结果对高维度的非凸优化具有重要意义，并提出了新的基于超参数冗余的几何角度视角。

    Jun, 2017

  • 深度学习光谱中弥漫着类别 / 跨类别结构的痕迹

    研究应用实证频谱分析于现代深度学习分类器，展示其在深度网络频谱中的重要形式类 / 跨类结构及其特征，包括频谱异常值、突起和小但清晰的连续分布，介绍跨类结构的重要性，并证明多项式逻辑回归中，Fisher 信息矩阵频谱中异常值与主体审查的比例预测了误分类，在深度上，网络能够在将类别区分信息正交化的同时，逐渐分离类别特定信息，并提出了 KFAC 的校正。

    Aug, 2020

  • 高维随机梯度下降与新兴异常特征空间的对齐

    通过随机梯度下降（SGD）和经验 Hessian 和梯度矩阵的谱的联合演化，我们严格地研究了训练动态的联合演化。我们证明，在多类高维混合和单层或两层神经网络的两个典型分类任务中，SGD 轨迹迅速与 Hessian 和梯度矩阵的新出现的低秩异常特征空间对齐。此外，在多层设置中，这种对齐是逐层进行的，最后一层的异常特征空间在训练过程中发生变化，并在 SGD 收敛到次优分类器时呈现秩亏。这些结果证实了过去十年中关于过参数化网络在训练过程中 Hessian 和信息矩阵的谱的广泛数值研究中出现的一些丰富预测。

    Oct, 2023

  • 神经网络海森矩阵图的结构和排名的分析洞见

    本研究通过开发理论工具来分析 Hessian 映射的范围，提供了深度线性网络 Hessian 级别的确切公式和紧密的上限，以及其冗余程度的原因，从而深入探究了过参数化网络中冗余的来源和程度。

    Jun, 2021

  • 大规模深度神经网络海森矩阵的全频谱：SGD 训练和样本规模的动态

    使用最先进的高维数值线性代数工具来有效近似现代深度学习网络巨大参数空间上的 Hessian 谱，研究发现该 Hessian 具有 “尖峰” 行为，同时分别分析各项的训练动态和样本大小变化情况。

    Nov, 2018

  • 解剖 Hessian：理解神经网络中 Hessian 的共同结构

    本论文探讨了神经网络的 Loss Surface 的 Hessian 特性，提出了层级 Hessian 的分解假设，分析了这些小矩阵的特性并证明了随机 2 层神经网络的前几个特征空间结构，同时讨论了不同模型的前 k 个特征空间有非常高的重叠性，并得到了更好的神经网络显式推导一般化界限。

    Oct, 2020

  • 利用海森矩阵特征值密度研究神经网络优化

    研究优化过程中深度神经网络中 Hessian 谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

    Jan, 2019

  • 深入研究深度神经网络的 Hessian 特征谱及其在正则化方面的应用

    通过研究每层的 Hessian eigenspectrum，提出了一种基于 Hessian trace 的新的正则化方法，可以间接地迫使 Stochastic Gradient Descent 收敛到更平的最小值，从而提高了深学习模型的泛化性能。

    Dec, 2020

  • 揭示 Hessian 与决策边界的关联

    本研究探讨了深度学习和神经网络中的的决策边界复杂度与 Hessian 矩阵特征值之间的关联，并提出了一种新的边界复杂度的衡量方法和边界宽度的估计技术。

    Jun, 2023

  • Hessian 视角下的卷积神经网络本质

    本文通过 Hessian maps 的视角提出一种略微不同的卷积神经网络 (CNNs) 自然观点，从而揭示了 CNNs 的架构特征在其结构和性能中的表现；我们在 Toeplitz 表示的基础上，利用一种新的框架揭示了 Hessian 结构及其秩。我们证明了紧的上界，这些结果与 Hessian rank 的实际趋势紧密相似。总体而言，我们的工作推广了并且确立了一个关键性结论，即在卷积神经网络中，Hessian rank 随着参数数量的增加呈现出平方根增长趋势。

    May, 2023