Dec, 2023

结构化逆快速自然梯度：大型神经网络的内存高效和数值稳定 KFAC

PDF
TL;DR用结构化的无逆自然梯度下降方法（SINGD）解决了 KFAC 方法在低精度训练中的内存低效和数值不稳定的问题，并在大型神经网络上表现出很好的性能，甚至在半精度上常常优于 AdamW。
second-order methodskfacneural net trainingmemory efficientnumerically robust
发现论文，激发创造
  • 深度学习的无逆自然梯度下降快速方法

    本研究提出了一种名为 FNGD 的快速自然梯度下降方法，通过在第一个迭代周期内计算逆运算，避免了在每次迭代中计算逆运算，从而使计算复杂度接近于一阶方法。通过在图像分类和机器翻译任务上进行实证评估，证明了所提出的 FNGD 方法的高效性。

    Mar, 2024

  • 用 Kronecker 分解的近似曲率优化神经网络

    提出一种名为 K-FAC 的方法来近似神经网络中的自然梯度下降，该方法基于一种高效的逆近似方法来近似神经网络的 Fisher 信息矩阵，它既不是对角线矩阵也不是低秩矩阵，与先前提出的近似自然梯度 / 牛顿方法相比，K-FAC 在高度随机的优化方案中的表现非常好。

    Mar, 2015

  • 自然梯度的痕迹限制克罗内克 - 分解近似

    本文提出了一种新的用于训练深度神经网络的二阶优化方法，叫做 TKFAC（Trace-restricted Kronecker-factored Approximate Curvature），其包括对 Fisher 信息矩阵的逼近和新的阻尼技术，在实验中表现优异。

    Nov, 2020

  • 卷积层 Kronecker 分解近似 Fisher 矩阵

    本文提出了基于结构化概率模型的 KFC 来近似求解卷积网络的 Fisher 矩阵，采用 Kronecker deomposition 来使得每个块都是小矩阵，从而实现更快的求逆和更高效的训练。实验表明，KFC 能够比 SGD 更快的训练卷积网络，具有在分布式环境中应用的潜力。

    Feb, 2016

  • 在克罗内克分解的特征基上进行快速近似自然梯度下降

    本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。

    Jun, 2018

  • 神经元上的梯度下降及其与近似二阶优化的联系

    本文挑战了广泛持有的信念，发现由于其近似，Kronecker-Factored 是不与二阶更新密切相关的，并且在计算代价和数据效率方面往往优于此类更新算法，同时提出证据表明 KFAC 逼近第一阶算法（对神经元进行梯度下降），而非权重，为令人惊讶的结果。

    Jan, 2022

  • 物理知识神经网络的克罗内克因式化近似曲率

    提出了 Krondocker 因式近似曲率法（KFAC）来降低计算成本，使得 PINN 模型能够扩展到更大的网络规模。此方法在小规模问题上与昂贵的二阶方法竞争，对于更高维度的神经网络和 PDEs 有更好的扩展能力，并持续优于一阶方法和 LBFGS。

    May, 2024

  • 神经不完全分解：学习共轭梯度法的预处理器

    本文提出了一种基于自监管训练的图神经网络的数据驱动方法，用于加速科学计算和优化中遇到的大规模线性方程组求解，并且通过替换传统的手工制备预处理器，在收敛速度和计算效率方面实现了显著的提速。在我们的方法的核心是一种受稀疏矩阵理论启发的新型消息传递块。 我们评估了我们提出的方法在科学计算中产生的合成和真实问题上，结果表明 NeuralIF 在各种指标上都实现了竞争性的性能。

    May, 2023

  • KAISA：用于深度神经网络的自适应二阶优化框架

    KAISA 是一种适用于大型神经网络的可适应、改进和可扩展的基于 K-FAC 的二阶优化器框架，它在比较于原始优化器相同的全局批处理大小下，收敛速度快 18.1%-36.3%。

    Jul, 2021

  • 使用复步方向导数的二阶神经网络训练

    本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

    Sep, 2020