Jun, 2018

深度神经网络中费舍尔信息的普适统计：平均场方法

PDF
TL;DR研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外，我们探讨了这些新的统计特征数字在学习策略中的潜在使用，即可以量化估算出适当的学习率和我们的广义能力测量的基础。
fisher information matrixstochastic modeldeep neural networkslearning strategiesgeneralization ability
发现论文，激发创造
  • 深度神经网络中 Fisher 信息度量及其变体的病态谱

    本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。

    Oct, 2019

  • 非线性系统识别中使用 Fisher 信息增益的动态重要性学习

    该论文提出了一种综合利用 Fisher 信息矩阵（Fisher Information Matrix）的端到端黑盒系统识别方法，以获得对动态重要性和整体模型结构的洞察。该方法通过在网络的第一层添加决策模块，并使用完整的 FIM 作为输入来确定相关性得分。然后，在输入和相关性得分的逐元素乘法上执行向前传播。仿真结果表明，该方法有效捕捉各种类型的动态之间的相互作用，优于现有方法的多项式相互作用限制。此外，该新方法在识别现实世界的工业系统，特别是 PH 中和过程方面的应用中的有效性得到了确认。

    Jun, 2024

  • 随机深度网络的 Fisher 信息和自然梯度学习

    本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了显式的自然梯度形式，极大地加速了随机梯度学习。

    Aug, 2018

  • 深度生成模型的 Fisher 信息度量的近似方法用于异常检测

    根据梯度的大小来检测离群数据的深度生成模型无偏方法表现优于典型性测试。

    Mar, 2024

  • 通过抑制费舍尔信息矩阵的最大特征值来抵御对抗性攻击

    提出一种通过抑制 Fisher 信息矩阵的最大特征值来防御对抗攻击的方案，添加 Fisher 信息矩阵的 trace 值到网络的损失函数中，通过实验验证其有效性和鲁棒性。

    Sep, 2019

  • 神经 FIM：从点云数据中学习 Fisher 信息度量

    提出一种名为神经 FIM 的新方法，可以从离散点云数据中计算 Fisher 信息度量，并创建一个可扩展的度量空间，以建立连续流形模型来生成嵌入数据，以量化该流形的各种特征，证明了神经 FIM 在选择 PHATE 可视化方法的参数方面的实用性以及在 IPSC 重编程和 PBMCs（免疫细胞）等单细胞数据集的分支点和聚类中心嵌入的局部体积方面获取的信息。

    Jun, 2023

  • 对角化费舍尔信息矩阵估计的权衡

    通过分析两种随机估计器的方差并在回归和分类网络中实例化它们，我们研究了非线性对不同参数组的方差数量的影响，并发现在估计 Fisher 信息时这些方差数量不能被忽略。

    Feb, 2024

  • SOFIM：使用正则化的费歇尔信息矩阵进行随机优化

    该论文提出了一种基于正则化 Fisher 信息矩阵（FIM）的新的随机优化方法 SOFIM，可以高效地利用 FIM 来近似 Hessian 矩阵，从而在大规模机器学习模型的随机优化中找到牛顿梯度更新。SOFIM 可以视为自然梯度下降（NGD）的一种变体，通过使用正则化 FIM 和直接通过 Sherman-Morrison 矩阵求解梯度更新方向来解决存储和计算完整 FIM 的挑战。此外，SOFIM 类似于流行的 Adam 方法，利用梯度的一阶矩来解决由于异质数据导致的小批量非定常目标问题。正则化 FIM 和 Sherman-Morrison 矩阵求逆的利用使得在相同的空间和时间复杂度下，收敛速度得到了改进，与带动量的随机梯度下降（SGD）相当。对几个基准图像分类数据集上进行的大量实验表明，所提出的 SOFIM 方法在达到训练和测试损失以及测试准确性的预定目标方面，优于带动量的 SGD 和几种最先进的牛顿优化方法，如 Nystrom-SGD、L-BFGS 和 AdaHessian。

    Mar, 2024

  • 量子费舍尔信息的同时扰动随机逼近

    研究了使用同时扰动随机逼近技术来近似计算量子费舍尔信息矩阵，可以提高计算效率，实现基于哈密顿量的基态制备和基于变分量子玻尔兹曼机的训练。

    Mar, 2021

  • 基于 Fisher 信息的证据深度学习的不确定性估计

    提出了一种基于 Fisher Information-based 的 Evidential Deep Learning 方法，该方法通过测量样本携带的信息量动态地重新加权目标损失项，使网络更专注于不确定类别的表示学习，在多个数据不确定性评估任务中具有更好的性能表现，特别是在更具挑战性的 few-shot 分类环境下。

    Mar, 2023