Jun, 2018

在克罗内克分解的特征基上进行快速近似自然梯度下降

PDF
TL;DR本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。
optimization algorithmsgradient covariance informationnatural gradient descentdiagonal approximationsdeep network architectures
发现论文，激发创造
  • 用 Kronecker 分解的近似曲率优化神经网络

    提出一种名为 K-FAC 的方法来近似神经网络中的自然梯度下降，该方法基于一种高效的逆近似方法来近似神经网络的 Fisher 信息矩阵，它既不是对角线矩阵也不是低秩矩阵，与先前提出的近似自然梯度 / 牛顿方法相比，K-FAC 在高度随机的优化方案中的表现非常好。

    Mar, 2015

  • 自然梯度的痕迹限制克罗内克 - 分解近似

    本文提出了一种新的用于训练深度神经网络的二阶优化方法，叫做 TKFAC（Trace-restricted Kronecker-factored Approximate Curvature），其包括对 Fisher 信息矩阵的逼近和新的阻尼技术，在实验中表现优异。

    Nov, 2020

  • 卷积层 Kronecker 分解近似 Fisher 矩阵

    本文提出了基于结构化概率模型的 KFC 来近似求解卷积网络的 Fisher 矩阵，采用 Kronecker deomposition 来使得每个块都是小矩阵，从而实现更快的求逆和更高效的训练。实验表明，KFC 能够比 SGD 更快的训练卷积网络，具有在分布式环境中应用的潜力。

    Feb, 2016

  • 神经元上的梯度下降及其与近似二阶优化的联系

    本文挑战了广泛持有的信念，发现由于其近似，Kronecker-Factored 是不与二阶更新密切相关的，并且在计算代价和数据效率方面往往优于此类更新算法，同时提出证据表明 KFAC 逼近第一阶算法（对神经元进行梯度下降），而非权重，为令人惊讶的结果。

    Jan, 2022

  • 物理知识神经网络的克罗内克因式化近似曲率

    提出了 Krondocker 因式近似曲率法（KFAC）来降低计算成本，使得 PINN 模型能够扩展到更大的网络规模。此方法在小规模问题上与昂贵的二阶方法竞争，对于更高维度的神经网络和 PDEs 有更好的扩展能力，并持续优于一阶方法和 LBFGS。

    May, 2024

  • KrADagrad：克罗内克近似主导梯度预处理随机优化

    该论文提出了一种新颖的矩阵分解方法 Kronecker Approximation-Domination (KrAD)，用于直接近似实验 Fisher 矩阵的逆，避免了反转和 64 位精度，从而实现与 Shampoo 相似的计算成本和相同的 regret，同时在 32 位精度下比 Shampoo 表现更好。

    May, 2023

  • Sketchy: 频率方向的内存高效自适应正则化

    通过使用 Frequent Directions sketch 低秩技术，可以减少维护矩阵预处理器的内存和计算量，并在多个大规模基准测试中展示出较好的内存 - 质量 Pareto 前沿。

    Feb, 2023

  • 结构化逆快速自然梯度：大型神经网络的内存高效和数值稳定 KFAC

    用结构化的无逆自然梯度下降方法（SINGD）解决了 KFAC 方法在低精度训练中的内存低效和数值不稳定的问题，并在大型神经网络上表现出很好的性能，甚至在半精度上常常优于 AdamW。

    Dec, 2023

  • 训练深度神经网络的实用拟牛顿方法

    本文提出了一种使用 Kronecker 乘积近似 Hessian 矩阵和结构化梯度的 Kronecker 分块对角线 BFGS 和 L-BFGS 方法用于深度神经网络训练，通过测试验证其性能优于或与 KFAC 和一阶随机方法相当。

    Jun, 2020

  • 噪声自然梯度作为变分推理

    本文研究了变分贝叶斯神经网络、自然梯度上升和卷积神经网络等相关技术，提出了基于噪声版本的自然梯度、Adam 和 K-FAC 算法来训练全协方差、完全因式分解或矩阵变量高斯变分后验，并应用于回归测试中，发现该算法可以更好地预测和匹配存在方法的预测方差，进而用于主动学习和增强学习中实现更高效的探索。

    Dec, 2017