Jun, 2023

带有非渐进性超线性收敛速率的有限记忆贪婪拟牛顿法

PDF
TL;DR本研究提出了一种有界存储拟牛顿方法（LG-BFGS），通过在控制存储需求的情况下利用过去的曲率信息来实现非渐近超线性收敛，并在速度和存储需求之间找到了一种平衡。
quasi-newton methodslimited-memory variantslg-bfgs methodconvergence ratememory requirement
发现论文，激发创造
  • 具有更快超线性收敛速度的增量拟牛顿方法

    本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

    Feb, 2024

  • 在线有限内存 BFGS 算法的全局收敛性

    证明了解决大规模机器学习中随机目标优化问题的在线随机有限内存版本的 Broyden-Fletcher-Goldfarb-Shanno 拟牛顿法全局收敛性，数值实验证明其优于随机梯度下降算法。

    Sep, 2014

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 关于经典拟牛顿法超线性收敛的新结果

    本文对凸性 Broyden 类的经典拟牛顿方法的本地超线性收敛进行了新的理论分析，从而得到了这些方法收敛速度的当前已知估计的显着改进，特别地，我们表明，Broyden-Fletcher-Goldfarb-Shanno 方法的相应速度仅取决于问题维数及其条件数的对数乘积。

    Apr, 2020

  • 锐化的惰性增量拟牛顿法

    本文提出了一种 Sharpened Lazy Incremental Quasi-Newton (SLIQN) 方法，旨在解决在大规模自然语言处理等复杂应用领域中，快速且高效地求解凸函数的优化问题。通过将经典的 BFGS 更新规则与贪婪法相结合，以及采用惰性更新策略，该方法取得了显著优于其他基于增量算法的类欧几里得方法的结果。

    May, 2023

  • 非凸优化的异步随机拟牛顿 MCMC 算法

    本研究开发了一种适用于分布式和共享内存的异步并行随机 L-BFGS 算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。

    Jun, 2018

  • 具有全局复杂度分析的实用不精确近端拟牛顿方法

    提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

    Nov, 2013

  • 具有超线性收敛速度的增量高斯 - 牛顿方法

    本文针对具有 H"older 连续雅可比矩阵的大规模非线性方程的求解挑战，引入了一种新颖的具有显式超线性收敛速率的增量高斯 - 牛顿（IGN）方法，其性能优于仅实现线性收敛速率的现有方法。具体而言，我们通过具有有限和结构的非线性最小二乘问题来表述我们的问题，并且我们的方法在每一轮中逐渐迭代一个组件的信息。我们还为我们的 IGN 方法提供了小批量扩展，可以获得更快的超线性收敛速率。此外，我们进行了数值实验以展示所提方法的优势。

    Jul, 2024

  • 机器学习中非光滑凸优化问题的拟牛顿方法

    本研究将众所周知的 BFGS 拟牛顿方法及其内存限制变种 LBFGS 扩展到非平滑凸目标的优化，提出了 subBFGS 算法，其全局收敛，并使用其记忆限制变体（subLBFGS）来最小化 L2 正则化风险并开发了新的多类和多标签设置下的准确搜索算法。

    Apr, 2008

  • 大规模优化的随机拟牛顿法

    本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

    Jan, 2014