本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了显式的自然梯度形式，极大地加速了随机梯度学习。

Aug, 2018

研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外，我们探讨了这些新的统计特征数字在学习策略中的潜在使用，即可以量化估算出适当的学习率和我们的广义能力测量的基础。

Jun, 2018

本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。

Oct, 2019

本研究提出了描述在局部差分隐私限制下，统计样本的费舍尔信息如何随隐私参数 ϵ 缩放的数据处理不等式，证明了这些不等式对于所有隐私水平 ϵ>0 的高斯位置模型和离散分布估计都具有高阶匹配的平方ℓ2 误差的隐私机制和估计器。

May, 2020

提出了一种基于 Fisher Information-based 的 Evidential Deep Learning 方法，该方法通过测量样本携带的信息量动态地重新加权目标损失项，使网络更专注于不确定类别的表示学习，在多个数据不确定性评估任务中具有更好的性能表现，特别是在更具挑战性的 few-shot 分类环境下。

Mar, 2023

该论文提出了一种综合利用 Fisher 信息矩阵（Fisher Information Matrix）的端到端黑盒系统识别方法，以获得对动态重要性和整体模型结构的洞察。该方法通过在网络的第一层添加决策模块，并使用完整的 FIM 作为输入来确定相关性得分。然后，在输入和相关性得分的逐元素乘法上执行向前传播。仿真结果表明，该方法有效捕捉各种类型的动态之间的相互作用，优于现有方法的多项式相互作用限制。此外，该新方法在识别现实世界的工业系统，特别是 PH 中和过程方面的应用中的有效性得到了确认。

Jun, 2024

根据梯度的大小来检测离群数据的深度生成模型无偏方法表现优于典型性测试。

Mar, 2024

论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

Oct, 2019

通过提取神经元系统的局部组件，定义相对的费舍尔信息度量并演示了如何利用这一概念进一步改进优化，提高神经网络的学习效果。

Jun, 2016

本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

May, 2023