NIPSJul, 2017

机器学习的鲁棒多批次 L-BFGS 方法

PDF
TL;DR本文介绍了一种应对分布式计算和多批处理中不可靠计算节点带来的问题的 L-BFGS 方法实现方式，并说明了如何在多批处理中进行稳定的拟牛顿更新以及算法在机器学习的分类与神经网络训练问题中的行为表现及其收敛性质。
l-bfgs methoddistributed computingmulti-batchquasi-newton updatingconvergence
发现论文，激发创造
  • 一种用于机器学习的多批 L-BFGS 方法

    本文研究了一种使用二阶信息和批处理方法进行并行优化的新算法，在多批处理情况下，实现了稳定的拟牛顿更新，并在分布式计算平台上完成了算法行为和收敛性质的研究。

    May, 2016

  • 机器学习的渐进批处理 L-BFGS 方法

    本文介绍了一种结合渐进批处理、随机线搜索和稳定拟牛顿更新的新型 L-BFGS 算法，并提供了该方法在训练逻辑回归和深度神经网络时的收敛理论依据。

    Feb, 2018

  • mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS

    mL-BFGS 是一种基于动量的轻量级 L-BFGS 算法，为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案，并显著减少 Hessian 中的随机噪声，从而在随机优化过程中稳定收敛。实验结果表明，mL-BFGS 在迭代和实际时间上均获得了明显的加速效果，并与基准方法（SGD、Adam 和其他拟牛顿法）进行了比较。

    Jul, 2023

  • 在线有限内存 BFGS 算法的全局收敛性

    证明了解决大规模机器学习中随机目标优化问题的在线随机有限内存版本的 Broyden-Fletcher-Goldfarb-Shanno 拟牛顿法全局收敛性，数值实验证明其优于随机梯度下降算法。

    Sep, 2014

  • 机器学习中非光滑凸优化问题的拟牛顿方法

    本研究将众所周知的 BFGS 拟牛顿方法及其内存限制变种 LBFGS 扩展到非平滑凸目标的优化，提出了 subBFGS 算法，其全局收敛，并使用其记忆限制变体（subLBFGS）来最小化 L2 正则化风险并开发了新的多类和多标签设置下的准确搜索算法。

    Apr, 2008

  • 非凸优化的异步随机拟牛顿 MCMC 算法

    本研究开发了一种适用于分布式和共享内存的异步并行随机 L-BFGS 算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。

    Jun, 2018

  • 机器学习的拟牛顿方法：忘记过去，只需采样

    本文提出了两种采样拟牛顿法（采样 LBFGS 和采样 LSR1），并为其提供了收敛保证。这些方法能有效地解决在机器学习中出现的经验风险最小化问题，通过对当前迭代中的随机采样点来产生黑塞或黑塞逆近似，避免了过时信息的影响，并具备在分布式计算中运行的并发能力。在二分类问题和神经网络训练任务上的数值实验结果表明，这些方法优于其经典版本。

    Jan, 2019

  • 大规模优化的随机拟牛顿法

    本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

    Jan, 2014

  • 分散的拟牛顿方法

    介绍了一种分布式的 D-BFGS 方法，是 BFGS 准牛顿方法的一种变种，用于解决不适合使用一阶分布式方法的优化问题，且无法使用二阶分布式方法获取二阶信息，提供了在异步情况下的算法形式，并在同步及异步情况下证明了收敛性，同时数值实验证明了相对于一阶方法的强大性能优势。

    May, 2016

  • 一种线性收敛的随机 L-BFGS 算法

    提出了一种新的随机 L-BFGS 算法，并证明了它对于强凸平滑函数具有线性收敛率。这种算法对于大规模的凸和非凸优化问题表现出色，具有快速求解高精度的线性收敛率，对于多种步幅表现良好。

    Aug, 2015