研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外，我们探讨了这些新的统计特征数字在学习策略中的潜在使用，即可以量化估算出适当的学习率和我们的广义能力测量的基础。

Jun, 2018

该论文提出了一种基于正则化 Fisher 信息矩阵（FIM）的新的随机优化方法 SOFIM，可以高效地利用 FIM 来近似 Hessian 矩阵，从而在大规模机器学习模型的随机优化中找到牛顿梯度更新。SOFIM 可以视为自然梯度下降（NGD）的一种变体，通过使用正则化 FIM 和直接通过 Sherman-Morrison 矩阵求解梯度更新方向来解决存储和计算完整 FIM 的挑战。此外，SOFIM 类似于流行的 Adam 方法，利用梯度的一阶矩来解决由于异质数据导致的小批量非定常目标问题。正则化 FIM 和 Sherman-Morrison 矩阵求逆的利用使得在相同的空间和时间复杂度下，收敛速度得到了改进，与带动量的随机梯度下降（SGD）相当。对几个基准图像分类数据集上进行的大量实验表明，所提出的 SOFIM 方法在达到训练和测试损失以及测试准确性的预定目标方面，优于带动量的 SGD 和几种最先进的牛顿优化方法，如 Nystrom-SGD、L-BFGS 和 AdaHessian。

Mar, 2024

研究了使用同时扰动随机逼近技术来近似计算量子费舍尔信息矩阵，可以提高计算效率，实现基于哈密顿量的基态制备和基于变分量子玻尔兹曼机的训练。

Mar, 2021

本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。

Oct, 2019

本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了显式的自然梯度形式，极大地加速了随机梯度学习。

Aug, 2018

根据梯度的大小来检测离群数据的深度生成模型无偏方法表现优于典型性测试。

Mar, 2024

提出了一种基于 Fisher Information-based 的 Evidential Deep Learning 方法，该方法通过测量样本携带的信息量动态地重新加权目标损失项，使网络更专注于不确定类别的表示学习，在多个数据不确定性评估任务中具有更好的性能表现，特别是在更具挑战性的 few-shot 分类环境下。

Mar, 2023

提出一种名为神经 FIM 的新方法，可以从离散点云数据中计算 Fisher 信息度量，并创建一个可扩展的度量空间，以建立连续流形模型来生成嵌入数据，以量化该流形的各种特征，证明了神经 FIM 在选择 PHATE 可视化方法的参数方面的实用性以及在 IPSC 重编程和 PBMCs（免疫细胞）等单细胞数据集的分支点和聚类中心嵌入的局部体积方面获取的信息。

Jun, 2023

探讨了量子菲舍尔信息矩阵在增强参数化量子电路 (PQC) 强化学习代理性能方面的作用；通过对量子和经典菲舍尔信息矩阵之间的 Löwner 不等式进行详细分析，揭示了使用每种类型的信息矩阵的微妙差别和影响。结果表明，使用量子菲舍尔信息矩阵的 PQC 代理通常会导致更大的近似误差，并且不保证与经典菲舍尔信息矩阵相比性能得到改进；经典控制基准测试中的实证评估表明，尽管量子菲舍尔信息矩阵的预处理优于标准梯度上升，但总体上并不比经典菲舍尔信息矩阵的预处理优越。

Jan, 2024

通过分析两种随机估计器的方差并在回归和分类网络中实例化它们，我们研究了非线性对不同参数组的方差数量的影响，并发现在估计 Fisher 信息时这些方差数量不能被忽略。

Feb, 2024