ICMLFeb, 2018

机器学习的渐进批处理 L-BFGS 方法

PDF
TL;DR本文介绍了一种结合渐进批处理、随机线搜索和稳定拟牛顿更新的新型 L-BFGS 算法，并提供了该方法在训练逻辑回归和深度神经网络时的收敛理论依据。
l-bfgsprogressive batchingstochastic line searchquasi-newton updatinglogistic regressiondeep neural networks
发现论文，激发创造
  • 机器学习的鲁棒多批次 L-BFGS 方法

    本文介绍了一种应对分布式计算和多批处理中不可靠计算节点带来的问题的 L-BFGS 方法实现方式，并说明了如何在多批处理中进行稳定的拟牛顿更新以及算法在机器学习的分类与神经网络训练问题中的行为表现及其收敛性质。

    Jul, 2017

  • 一种用于机器学习的多批 L-BFGS 方法

    本文研究了一种使用二阶信息和批处理方法进行并行优化的新算法，在多批处理情况下，实现了稳定的拟牛顿更新，并在分布式计算平台上完成了算法行为和收敛性质的研究。

    May, 2016

  • mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS

    mL-BFGS 是一种基于动量的轻量级 L-BFGS 算法，为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案，并显著减少 Hessian 中的随机噪声，从而在随机优化过程中稳定收敛。实验结果表明，mL-BFGS 在迭代和实际时间上均获得了明显的加速效果，并与基准方法（SGD、Adam 和其他拟牛顿法）进行了比较。

    Jul, 2023

  • 在线有限内存 BFGS 算法的全局收敛性

    证明了解决大规模机器学习中随机目标优化问题的在线随机有限内存版本的 Broyden-Fletcher-Goldfarb-Shanno 拟牛顿法全局收敛性，数值实验证明其优于随机梯度下降算法。

    Sep, 2014

  • 自适应批处理大小的自动推理：大批量 SGD

    本文介绍了一种采用自适应 “大数据块” 随机梯度下降方案的方法，以维持梯度逼近的信噪比的稳定，从而实现自动学习率选择和避免步长衰减，并且不需要目标函数凸性的限制。

    Oct, 2016

  • 一种线性收敛的随机 L-BFGS 算法

    提出了一种新的随机 L-BFGS 算法，并证明了它对于强凸平滑函数具有线性收敛率。这种算法对于大规模的凸和非凸优化问题表现出色，具有快速求解高精度的线性收敛率，对于多种步幅表现良好。

    Aug, 2015

  • 机器学习的拟牛顿方法：忘记过去，只需采样

    本文提出了两种采样拟牛顿法（采样 LBFGS 和采样 LSR1），并为其提供了收敛保证。这些方法能有效地解决在机器学习中出现的经验风险最小化问题，通过对当前迭代中的随机采样点来产生黑塞或黑塞逆近似，避免了过时信息的影响，并具备在分布式计算中运行的并发能力。在二分类问题和神经网络训练任务上的数值实验结果表明，这些方法优于其经典版本。

    Jan, 2019

  • 机器学习中非光滑凸优化问题的拟牛顿方法

    本研究将众所周知的 BFGS 拟牛顿方法及其内存限制变种 LBFGS 扩展到非平滑凸目标的优化，提出了 subBFGS 算法，其全局收敛，并使用其记忆限制变体（subLBFGS）来最小化 L2 正则化风险并开发了新的多类和多标签设置下的准确搜索算法。

    Apr, 2008

  • 随机梯度下降的非凸优化中批处理大小与所需步数的关系

    随机梯度下降是最简单的深度学习优化器之一，该论文通过蒙特卡洛方法对其进行了收敛性分析，并证明了使用 Armijo 线搜索的随机梯度下降在非凸优化中的性能优于其他深度学习优化器，同时还发现了批量大小对训练的影响，批量大小越大，需要的步数越少，但在成本和梯度计算的角度，存在一个临界批量大小最能降低成本。

    Jul, 2023

  • 训练深度神经网络的实用拟牛顿方法

    本文提出了一种使用 Kronecker 乘积近似 Hessian 矩阵和结构化梯度的 Kronecker 分块对角线 BFGS 和 L-BFGS 方法用于深度神经网络训练，通过测试验证其性能优于或与 KFAC 和一阶随机方法相当。

    Jun, 2020