Jul, 2023

mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS

PDF
TL;DRmL-BFGS 是一种基于动量的轻量级 L-BFGS 算法，为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案，并显著减少 Hessian 中的随机噪声，从而在随机优化过程中稳定收敛。实验结果表明，mL-BFGS 在迭代和实际时间上均获得了明显的加速效果，并与基准方法（SGD、Adam 和其他拟牛顿法）进行了比较。
发现论文，激发创造
  • 机器学习的鲁棒多批次 L-BFGS 方法

    本文介绍了一种应对分布式计算和多批处理中不可靠计算节点带来的问题的 L-BFGS 方法实现方式，并说明了如何在多批处理中进行稳定的拟牛顿更新以及算法在机器学习的分类与神经网络训练问题中的行为表现及其收敛性质。

    Jul, 2017

  • 一种用于机器学习的多批 L-BFGS 方法

    本文研究了一种使用二阶信息和批处理方法进行并行优化的新算法，在多批处理情况下，实现了稳定的拟牛顿更新，并在分布式计算平台上完成了算法行为和收敛性质的研究。

    May, 2016

  • 训练深度神经网络的实用拟牛顿方法

    本文提出了一种使用 Kronecker 乘积近似 Hessian 矩阵和结构化梯度的 Kronecker 分块对角线 BFGS 和 L-BFGS 方法用于深度神经网络训练，通过测试验证其性能优于或与 KFAC 和一阶随机方法相当。

    Jun, 2020

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 在线有限内存 BFGS 算法的全局收敛性

    证明了解决大规模机器学习中随机目标优化问题的在线随机有限内存版本的 Broyden-Fletcher-Goldfarb-Shanno 拟牛顿法全局收敛性，数值实验证明其优于随机梯度下降算法。

    Sep, 2014

  • 机器学习的渐进批处理 L-BFGS 方法

    本文介绍了一种结合渐进批处理、随机线搜索和稳定拟牛顿更新的新型 L-BFGS 算法，并提供了该方法在训练逻辑回归和深度神经网络时的收敛理论依据。

    Feb, 2018

  • 训练深度神经网络的自适应学习率和动量

    本文提出了一种基于非线性共轭梯度框架的快速训练方法，采用二次线搜索和动态更新动量因子的方式，该方法能够更快地收敛且避免了繁琐的超参数手动调整。实验结果表明该方法在图像分类数据集上的广义能力比其他本地求解器更好。

    Jun, 2021

  • 大规模优化的随机拟牛顿法

    本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

    Jan, 2014

  • 一种随机方差减少的 Nesterov 加速拟牛顿方法

    提出了随机方差减小的 Nesterov's Accelerated Quasi-Newton 方法，分别在 Tensorflow 上进行标准测试，结果表明相比传统方法，这种方法对于大规模数据的神经网络训练能够有效提高性能。

    Oct, 2019

  • 大规模分布式学习中的拟牛顿更新

    开发了具有卓越统计分析、计算和通信效率的分布式拟牛顿（DQN）框架，无需 Hessian 矩阵倒置或通信，在小数次迭代下提供了统计效率的结果，强调与现有方法的差别在于对统计学性质的调查。

    Jun, 2023