Jan, 2014

大规模优化的随机拟牛顿法

PDF
TL;DR本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。
curvature informationstochastic quasi-newton methodlimited memory bfgs update formulahessian-vector productsmachine learning
发现论文，激发创造
  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 统一随机梯度下降和拟牛顿法的快速大规模优化

    该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

    Nov, 2013

  • 随机块 BFGS：从数据中挤出更多曲率

    提出了一种新型的有限记忆随机块 BFGS（L-BFGS）方法，用于在随机逼近方法中加入丰富信息的曲率问题，结果显示该方法在大规模日志回归问题上具有更好的鲁棒性和显著的优越性。

    Mar, 2016

  • 非凸随机优化的随机拟牛顿方法

    本文介绍了基于随机梯度信息的非凸随机优化的随机拟牛顿方法，分别从框架、随机化和具体方法方面进行了研究，并提供了数值结果证明其高效性。

    Dec, 2014

  • 具有更快超线性收敛速度的增量拟牛顿方法

    本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

    Feb, 2024

  • 具有全局复杂度分析的实用不精确近端拟牛顿方法

    提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

    Nov, 2013

  • 一种随机方差减少的 Nesterov 加速拟牛顿方法

    提出了随机方差减小的 Nesterov's Accelerated Quasi-Newton 方法，分别在 Tensorflow 上进行标准测试，结果表明相比传统方法，这种方法对于大规模数据的神经网络训练能够有效提高性能。

    Oct, 2019

  • 一种非凸优化的随机拟牛顿方法

    本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

    Mar, 2024

  • 基于拟牛顿方法的无导数优化噪声函数

    本文介绍了一种有限差分拟牛顿法，该方法利用 BFGS 更新的可伸缩性和能力，采用自适应程序选择基于 Hamming（2012）和 Moré 和 Wild（2011）的噪声估计技术的差分间隔 h。该算法包含恢复机制，以防止线性搜索过程无法产生可接受点的情况。通过数值实验将该方法与函数插值信任域方法进行了比较，同时还提出了一种考虑噪声线性搜索过程效应的新型收敛分析。

    Mar, 2018

  • 一种方差减少的随机牛顿法

    该研究提出了一种名为 “Vite” 的基于 Stochastic Quasi-Newton 算法的优化方法，它利用一种现有的一阶技术来减少噪声和方差，并在大规模学习问题上取得了不错的结果。

    Mar, 2015