Jun, 2020

训练深度神经网络的实用拟牛顿方法

PDF
TL;DR本文提出了一种使用 Kronecker 乘积近似 Hessian 矩阵和结构化梯度的 Kronecker 分块对角线 BFGS 和 L-BFGS 方法用于深度神经网络训练，通过测试验证其性能优于或与 KFAC 和一阶随机方法相当。
stochastic quasi-newtonkronecker-factored block-diagonal bfgsl-bfgsdeep neural networkskronecker product
发现论文，激发创造
  • 深度神经网络的 Mini-Block Fisher 方法

    该论文提出了一种介于一阶方法和二阶方法之间的 “mini-block Fisher (MBF)” 预处理梯度方法，利用 GPU 的并行性实现了对每个层中大量矩阵的高效计算，且在时间效率和泛化能力方面都优于基线方法，并被证明其理想版本能够呈线性收敛。

    Feb, 2022

  • mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS

    mL-BFGS 是一种基于动量的轻量级 L-BFGS 算法，为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案，并显著减少 Hessian 中的随机噪声，从而在随机优化过程中稳定收敛。实验结果表明，mL-BFGS 在迭代和实际时间上均获得了明显的加速效果，并与基准方法（SGD、Adam 和其他拟牛顿法）进行了比较。

    Jul, 2023

  • 深度学习的实用高斯牛顿优化

    我们提出了一种高效的分块对角近似方法来计算前馈神经网络的高斯 - 牛顿矩阵，与一阶优化方法相比，有时能够显著提高优化性能。此外，我们的方法无需繁琐的调参，即可提供良好的性能。在针对分段线性转移函数进行优化时，网络目标函数可能不存在可微的局部极大值，这也可以部分解释为什么这样的转移函数有助于有效优化。

    Jun, 2017

  • 扩展 Kronecker 分解近似曲率的续学习

    提出了一种二次罚函数方法用于神经网络的不断学习，其中包含批量归一化层。通过考虑实例间的关系，扩展了 K-FAC 方法，以便在实际情况下正确逼近深度神经网络的 Hessian 矩阵。同时提出了一种权重合并和再参数化方法，并且对批归一化的统计参数进行了适当处理。实验结果表明，该方法在各项指标上均优于基准算法。

    Apr, 2020

  • 神经网络方法的快速迭代求解器：II. 1D 扩散 - 反应问题与数据拟合

    该研究论文介绍了一种扩展的阻尼块牛顿法，用于解决神经网络中包含质量矩阵的线性方程组，以及求解非线性参数的方法，该方法在计算代价上具有较高效性，并且优于 BFGS 算法。

    Jul, 2024

  • 随机块 BFGS：从数据中挤出更多曲率

    提出了一种新型的有限记忆随机块 BFGS（L-BFGS）方法，用于在随机逼近方法中加入丰富信息的曲率问题，结果显示该方法在大规模日志回归问题上具有更好的鲁棒性和显著的优越性。

    Mar, 2016

  • Krylov 子空间下降用于深度学习

    本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。

    Nov, 2011

  • 在克罗内克分解的特征基上进行快速近似自然梯度下降

    本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。

    Jun, 2018

  • 使用复步方向导数的二阶神经网络训练

    本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

    Sep, 2020

  • 具有全局复杂度分析的实用不精确近端拟牛顿方法

    提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

    Nov, 2013