Jun, 2024

一种改进的经验费歇近似方法用于自然梯度下降

PDF
TL;DR通过提出改进的经验 Fisher（iEF）方法，该论文研究了近似自然梯度下降（NGD）方法中经验 Fisher 信息矩阵的逆比例缩放问题，并在实验中评估了该方法的性能，在参数高效微调、深度学习优化等方面取得了较好的收敛性和拟合能力。
approximate natural gradient descentempirical fisherief methodoptimisation experimentsconvergence ability
发现论文，激发创造
  • 自然梯度下降的经验 Fisher 近似限制

    本文争议了近似二阶方法和启发式算法如 Adam 之间的关系，并指出实证 Fisher 不像 Fisher 一样普遍捕捉到二阶信息，并且在简单的优化问题中，实证 Fisher 的病理可以产生不良影响。

    May, 2019

  • 深度学习的无逆自然梯度下降快速方法

    本研究提出了一种名为 FNGD 的快速自然梯度下降方法，通过在第一个迭代周期内计算逆运算，避免了在每次迭代中计算逆运算，从而使计算复杂度接近于一阶方法。通过在图像分类和机器翻译任务上进行实证评估，证明了所提出的 FNGD 方法的高效性。

    Mar, 2024

  • 混合指数族近似下的快速简单的自然梯度变分推断

    本论文使用自然梯度方法扩展到结构化逼近，并得到了简单的方程。与黑箱渐变方法相比，实验结果表明我们的自然渐变方法收敛更快，从而扩展了贝叶斯推断的应用范围。

    Jun, 2019

  • 随机深度网络的 Fisher 信息和自然梯度学习

    本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了显式的自然梯度形式，极大地加速了随机梯度学习。

    Aug, 2018

  • 深度神经网络的 Mini-Block Fisher 方法

    该论文提出了一种介于一阶方法和二阶方法之间的 “mini-block Fisher (MBF)” 预处理梯度方法，利用 GPU 的并行性实现了对每个层中大量矩阵的高效计算，且在时间效率和泛化能力方面都优于基线方法，并被证明其理想版本能够呈线性收敛。

    Feb, 2022

  • FAdam：Adam 是一种使用对角化经验费舍尔信息的自然梯度优化器

    本文通过黎曼几何和信息几何，为 Adam 优化器建立了数学基础，阐明了其与自然梯度下降的联系。我们严格分析了 Adam 中的对角经验 Fisher 信息矩阵（FIM），明确了所有详细的近似方法，并主张使用基于离散分布的对数概率函数作为损失函数，这是由于经验 FIM 的局限性。我们的分析揭示了原始 Adam 算法的缺陷，并提出了修正方法，如增强动量计算、调整偏差校正和梯度修剪。我们根据理论框架改进了权重衰减项。我们修改后的算法 Fisher Adam（FAdam）在包括 LLM、ASR 和 VQ-VAE 在内的不同领域展示了卓越的性能，并在 ASR 中取得了最先进的结果。

    May, 2024

  • 基于 Fisher 信息的证据深度学习的不确定性估计

    提出了一种基于 Fisher Information-based 的 Evidential Deep Learning 方法，该方法通过测量样本携带的信息量动态地重新加权目标损失项，使网络更专注于不确定类别的表示学习，在多个数据不确定性评估任务中具有更好的性能表现，特别是在更具挑战性的 few-shot 分类环境下。

    Mar, 2023

  • 自然梯度法的新洞见和视角

    探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。

    Dec, 2014

  • 学习大型复杂模型的相对自然梯度

    通过提取神经元系统的局部组件，定义相对的费舍尔信息度量并演示了如何利用这一概念进一步改进优化，提高神经网络的学习效果。

    Jun, 2016

  • 现代误差反馈的实用算法扩展 - EF21 升级版

    本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。

    Oct, 2021