本研究通过开发理论工具来分析 Hessian 映射的范围，提供了深度线性网络 Hessian 级别的确切公式和紧密的上限，以及其冗余程度的原因，从而深入探究了过参数化网络中冗余的来源和程度。

Jun, 2021

研究优化过程中深度神经网络中 Hessian 谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

Jan, 2019

通过研究每层的 Hessian eigenspectrum，提出了一种基于 Hessian trace 的新的正则化方法，可以间接地迫使 Stochastic Gradient Descent 收敛到更平的最小值，从而提高了深学习模型的泛化性能。

Dec, 2020

我们研究了常见损失曲面的性质，并针对深度学习，通过 Hessian 矩阵的谱将其分为两个部分，并证明了 Sagun 等人所述的猜想。我们的观察结果对高维度的非凸优化具有重要意义，并提出了新的基于超参数冗余的几何角度视角。

Jun, 2017

本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

Jul, 2019

本文通过 Hessian maps 的视角提出一种略微不同的卷积神经网络 (CNNs) 自然观点，从而揭示了 CNNs 的架构特征在其结构和性能中的表现；我们在 Toeplitz 表示的基础上，利用一种新的框架揭示了 Hessian 结构及其秩。我们证明了紧的上界，这些结果与 Hessian rank 的实际趋势紧密相似。总体而言，我们的工作推广了并且确立了一个关键性结论，即在卷积神经网络中，Hessian rank 随着参数数量的增加呈现出平方根增长趋势。

May, 2023

基于二阶算法和 Hessian 矩阵的优化器 SGD-PH 在深度神经网络训练中取得了良好的性能。

Mar, 2024

本文通过对深度网络的黑塞矩阵的特征值分解研究深度网络的损失地形，特别关注负特征值的重要性及其适当处理的益处。

Feb, 2019

本文探讨了通过 Hessian 算子和鲁棒优化来训练大批量神经网络的方法，并证明了大批量训练会将模型收敛到一个具有更高 Hessian 谱的点，而鲁棒训练可以在损失函数中偏向于平缓区域，从而达到鲁棒性。此外，实验和理论证明了鲁棒训练是一个大部分情况下不存在鞍点的优化问题。

Feb, 2018

我们提出了一种针对具有可微激活函数的神经网络的新型可达性分析方法。我们的想法依赖于基于一阶泰勒展开的神经网络映射的有声抽象，并对余项进行边界约束。为此，我们提出了一种计算网络一阶导数（梯度）和二阶导数（海森矩阵）的解析上界的方法。我们的方法的一个关键方面是通过循环变换激活函数，以有效利用它们的单调性。由此产生的端到端抽象在局部保留了导数信息，从而对小的输入集提供精确的上界。最后，我们使用分支界限框架来递归地完善较大的输入集的抽象。我们通过不同的例子对我们的方法进行了数值评估，并将结果与相关的最新方法进行了比较。

Jun, 2024