本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。

Oct, 2019

本文探讨了随机梯度下降在神经网络早期训练阶段中的超参数，指出通过在初期采用大学习率可以减小梯度的方差和提高梯度的协方差矩阵的条件数，在超过 “盈亏平衡点” 之后，通过随机梯度下降法优化可以隐式地正则化损失曲面的曲率以及梯度中的噪声等问题，这对于神经网络的优化效果具有积极作用，研究这些影响对于泛化性能的影响是一个有前途的研究方向。

Feb, 2020

通过对分类数据集进行研究，我们发现输入相关矩阵的特征值谱具有指数级范围的均匀分布特征，这种结构体现在训练出的网络的 Hessian 矩阵和 Fisher 信息矩阵的特征值谱中，我们称这种特征值谱为 “懒散”，我们还发现非懒散的训练集可能导致深度学习模型泛化性能降低，最后我们提出一种基于这个发现的数据分布依赖型 PAC-Bayes 先验，可以实现准确的泛化边界估计。

Oct, 2021

该论文提出了一种基于正则化 Fisher 信息矩阵（FIM）的新的随机优化方法 SOFIM，可以高效地利用 FIM 来近似 Hessian 矩阵，从而在大规模机器学习模型的随机优化中找到牛顿梯度更新。SOFIM 可以视为自然梯度下降（NGD）的一种变体，通过使用正则化 FIM 和直接通过 Sherman-Morrison 矩阵求解梯度更新方向来解决存储和计算完整 FIM 的挑战。此外，SOFIM 类似于流行的 Adam 方法，利用梯度的一阶矩来解决由于异质数据导致的小批量非定常目标问题。正则化 FIM 和 Sherman-Morrison 矩阵求逆的利用使得在相同的空间和时间复杂度下，收敛速度得到了改进，与带动量的随机梯度下降（SGD）相当。对几个基准图像分类数据集上进行的大量实验表明，所提出的 SOFIM 方法在达到训练和测试损失以及测试准确性的预定目标方面，优于带动量的 SGD 和几种最先进的牛顿优化方法，如 Nystrom-SGD、L-BFGS 和 AdaHessian。

Mar, 2024

通过量化 Fisher 信息矩阵确定的参数空间的几何，我们揭示了在深度神经网络中，批标准化作为最后一层标准化方法，对减少 Fisher 信息矩阵导致的病态锐度具有明显的贡献。

Jun, 2019

研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外，我们探讨了这些新的统计特征数字在学习策略中的潜在使用，即可以量化估算出适当的学习率和我们的广义能力测量的基础。

Jun, 2018

在学习从线性度量中的深度线性网络时，最小化 Hessian 矩阵的迹大致相当于最小化相应端到端矩阵参数的 Schatten 1 - 范数，这进而导致更好的概括。

Jun, 2023

通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

Jun, 2019

通过研究损失曲率和梯度方差的交互作用对优化速度的影响，本文探讨了两者相互作用如何影响优化速度，并阐明了曲率和噪声对于正确估计概括性差距的相关性质，同时区分了 Fisher 矩阵、Hessian 矩阵和梯度的协方差矩阵，以澄清现有作品的局限性。

Jun, 2019

实验研究表明，Stochastic Gradient Descent 利用条件互信息学习了从线性分类器到逐渐复杂的函数的分类器，解释了超参数化区域中 SGD 学习的分类器为什么往往具有良好的泛化能力。

May, 2019