深入研究深度神经网络的 Hessian 特征谱及其在正则化方面的应用

AAAIDec, 2020

深入研究深度神经网络的 Hessian 特征谱及其在正则化方面的应用

A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization

Adepu Ravi Sankar, Yash Khasbage, Rahul Vigneswaran, Vineeth N Balasubramanian

TL;DR通过研究每层的 Hessian eigenspectrum，提出了一种基于 Hessian trace 的新的正则化方法，可以间接地迫使 Stochastic Gradient Descent 收敛到更平的最小值，从而提高了深学习模型的泛化性能。

Abstract

loss landscape analysis is extremely useful for a deeper understanding of the generalization ability of deep neural network models. In this work, we propose a layerwise →

loss landscape analysis deep neural network models hessian eigenspectrum regularizer generalization performance

发现论文，激发创造

利用海森矩阵特征值密度研究神经网络优化

研究优化过程中深度神经网络中 Hessian 谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

Jan, 2019

深度神经网络中海森矩阵的负特征值

本文通过对深度网络的黑塞矩阵的特征值分解研究深度网络的损失地形，特别关注负特征值的重要性及其适当处理的益处。

Feb, 2019

超参数神经网络海森矩阵的实证分析

我们研究了常见损失曲面的性质，并针对深度学习，通过 Hessian 矩阵的谱将其分为两个部分，并证明了 Sagun 等人所述的猜想。我们的观察结果对高维度的非凸优化具有重要意义，并提出了新的基于超参数冗余的几何角度视角。

Jun, 2017

解剖 Hessian：理解神经网络中 Hessian 的共同结构

本论文探讨了神经网络的 Loss Surface 的 Hessian 特性，提出了层级 Hessian 的分解假设，分析了这些小矩阵的特性并证明了随机 2 层神经网络的前几个特征空间结构，同时讨论了不同模型的前 k 个特征空间有非常高的重叠性，并得到了更好的神经网络显式推导一般化界限。

Oct, 2020

PyHessian：基于 Hessian 的神经网络

我们提出了 PYHESSIAN 框架，它可以快速计算深度神经网络的 Hessian 信息，支持分布式计算，并且可以用于分析神经网络模型，特别是损失函数曲率（即损失函数的拓扑），以便更好的理解不同模型和优化器的行为表现。通过对残差连接和 BN 层的分析，我们发现传统的方法不一定正确，BN 层不一定会使得损失函数曲率更加平滑，特别是在较浅的神经网络中。

Dec, 2019

神经网络权重矩阵的 Hessian 特征向量和主成分分析

该研究探讨了训练深度神经网络及其与网络参数之间的复杂动力学关系。通过研究我们发现，训练网络往往沿着单一方向进行训练，被称为漂移模式。通过损失函数的二次势模型，我们解释了这种漂移模式，并提出其向潜在值的指数级缓慢衰减。我们揭示了 Hessian 特征向量与网络权重之间的相关性，该关系取决于特征值的大小，使我们能够识别网络内的参数方向。此外，通过奇异值分解，我们对权重矩阵进行了分解，以实用的方式识别 Hessian 内的关键方向，同时考虑其大小和曲率。此外，我们还发现了各层最大的 Hessian 特征值与整个网络之间的相似性，特别是更大的特征值更集中在深层。最后，基于我们的发现，我们探索了解决神经网络在学习新任务时遗忘之前任务知识的挑战，通过应用我们的发现，我们提出了一种有效的策略来缓解这种遗忘，这个策略可以适用于不同规模的网络，包括更大的架构。

Nov, 2023

揭示 Hessian 与决策边界的关联

本研究探讨了深度学习和神经网络中的的决策边界复杂度与 Hessian 矩阵特征值之间的关联，并提出了一种新的边界复杂度的衡量方法和边界宽度的估计技术。

Jun, 2023

深度学习中的 Hessian 矩阵特征值：奇异性与超出

本文研究了损失函数的海森矩阵特征值在训练前后的分布情况，发现其主要由分布在零附近的 bulk 和分布远离零的 edges 两部分组成，bulk 部分实验证明了系统的超参数问题，而 edges 部分则与输入数据相关。

Nov, 2016

神经损失景观的局部几何的新兴特性

本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

Oct, 2019

高维分析揭示保守的锐化和随机稳定边缘

在全批量情况下，训练损失 Hessian 的大特征值动态具有某些显著稳定的特征。在随机设置中，特征值的增长速度较慢，我们称之为保守锐化。我们提供了一个简单的高维模型的理论分析来解释这种减速现象。我们还展示了随机稳定边界的替代解释，它在小批量的情况下与神经切线核的迹有关，而不是大的 Hessian 特征值。我们进行了实验研究，突出了与全批量现象的定性差异，并表明控制随机稳定边界可以帮助优化。

Apr, 2024