Mar, 2024

SOFIM：使用正则化的费歇尔信息矩阵进行随机优化

PDF
TL;DR该论文提出了一种基于正则化 Fisher 信息矩阵（FIM）的新的随机优化方法 SOFIM，可以高效地利用 FIM 来近似 Hessian 矩阵，从而在大规模机器学习模型的随机优化中找到牛顿梯度更新。SOFIM 可以视为自然梯度下降（NGD）的一种变体，通过使用正则化 FIM 和直接通过 Sherman-Morrison 矩阵求解梯度更新方向来解决存储和计算完整 FIM 的挑战。此外，SOFIM 类似于流行的 Adam 方法，利用梯度的一阶矩来解决由于异质数据导致的小批量非定常目标问题。正则化 FIM 和 Sherman-Morrison 矩阵求逆的利用使得在相同的空间和时间复杂度下，收敛速度得到了改进，与带动量的随机梯度下降（SGD）相当。对几个基准图像分类数据集上进行的大量实验表明，所提出的 SOFIM 方法在达到训练和测试损失以及测试准确性的预定目标方面，优于带动量的 SGD 和几种最先进的牛顿优化方法，如 Nystrom-SGD、L-BFGS 和 AdaHessian。
stochastic optimizationfisher information matrixnewton's gradient updatenatural gradient descentdeep learning models
发现论文，激发创造
  • 量子费舍尔信息的同时扰动随机逼近

    研究了使用同时扰动随机逼近技术来近似计算量子费舍尔信息矩阵，可以提高计算效率，实现基于哈密顿量的基态制备和基于变分量子玻尔兹曼机的训练。

    Mar, 2021

  • 非线性系统识别中使用 Fisher 信息增益的动态重要性学习

    该论文提出了一种综合利用 Fisher 信息矩阵（Fisher Information Matrix）的端到端黑盒系统识别方法，以获得对动态重要性和整体模型结构的洞察。该方法通过在网络的第一层添加决策模块，并使用完整的 FIM 作为输入来确定相关性得分。然后，在输入和相关性得分的逐元素乘法上执行向前传播。仿真结果表明，该方法有效捕捉各种类型的动态之间的相互作用，优于现有方法的多项式相互作用限制。此外，该新方法在识别现实世界的工业系统，特别是 PH 中和过程方面的应用中的有效性得到了确认。

    Jun, 2024

  • 深度神经网络中费舍尔信息的普适统计：平均场方法

    研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外，我们探讨了这些新的统计特征数字在学习策略中的潜在使用，即可以量化估算出适当的学习率和我们的广义能力测量的基础。

    Jun, 2018

  • FAdam：Adam 是一种使用对角化经验费舍尔信息的自然梯度优化器

    本文通过黎曼几何和信息几何，为 Adam 优化器建立了数学基础，阐明了其与自然梯度下降的联系。我们严格分析了 Adam 中的对角经验 Fisher 信息矩阵（FIM），明确了所有详细的近似方法，并主张使用基于离散分布的对数概率函数作为损失函数，这是由于经验 FIM 的局限性。我们的分析揭示了原始 Adam 算法的缺陷，并提出了修正方法，如增强动量计算、调整偏差校正和梯度修剪。我们根据理论框架改进了权重衰减项。我们修改后的算法 Fisher Adam（FAdam）在包括 LLM、ASR 和 VQ-VAE 在内的不同领域展示了卓越的性能，并在 ASR 中取得了最先进的结果。

    May, 2024

  • 灾难性费舍尔爆炸：早期阶段费舍尔矩阵影响泛化

    深度神经网络训练初期对损失函数的局部曲率有巨大影响。随机梯度下降（SGD）在训练早期隐含地惩罚了 Fisher 信息矩阵的迹，并且这种隐式的正则化方法会显著提高泛化能力。

    Dec, 2020

  • 深度生成模型的 Fisher 信息度量的近似方法用于异常检测

    根据梯度的大小来检测离群数据的深度生成模型无偏方法表现优于典型性测试。

    Mar, 2024

  • 量子自然策略梯度

    探讨了量子菲舍尔信息矩阵在增强参数化量子电路 (PQC) 强化学习代理性能方面的作用；通过对量子和经典菲舍尔信息矩阵之间的 Löwner 不等式进行详细分析，揭示了使用每种类型的信息矩阵的微妙差别和影响。结果表明，使用量子菲舍尔信息矩阵的 PQC 代理通常会导致更大的近似误差，并且不保证与经典菲舍尔信息矩阵相比性能得到改进；经典控制基准测试中的实证评估表明，尽管量子菲舍尔信息矩阵的预处理优于标准梯度上升，但总体上并不比经典菲舍尔信息矩阵的预处理优越。

    Jan, 2024

  • 随机深度网络的 Fisher 信息和自然梯度学习

    本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了显式的自然梯度形式，极大地加速了随机梯度学习。

    Aug, 2018

  • 深度神经网络中 Fisher 信息度量及其变体的病态谱

    本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。

    Oct, 2019

  • 加速随机矩阵求逆：一般理论和加速 BFGS 规则，用于更快的二阶优化

    本研究提出了第一种在欧几里得空间中解决线性系统问题的加速随机算法，应用于矩阵求逆问题，可得到正定矩阵，进而在优化和机器学习领域中具有广泛应用。该算法还可用于加速机器学习模型的训练。

    Feb, 2018