Mar, 2018

基于拟牛顿方法的无导数优化噪声函数

PDF
TL;DR本文介绍了一种有限差分拟牛顿法，该方法利用 BFGS 更新的可伸缩性和能力，采用自适应程序选择基于 Hamming（2012）和 Moré 和 Wild（2011）的噪声估计技术的差分间隔 h。该算法包含恢复机制，以防止线性搜索过程无法产生可接受点的情况。通过数值实验将该方法与函数插值信任域方法进行了比较，同时还提出了一种考虑噪声线性搜索过程效应的新型收敛分析。
finite difference quasi-newton methodnoisy function minimizationbfgs updatinghamming noise estimationconvergence analysis
发现论文，激发创造
  • 大规模优化的随机拟牛顿法

    本文提出了一种基于限制记忆的 BFGS 更新公式和子采样 Hessian - 向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

    Jan, 2014

  • 具有更快超线性收敛速度的增量拟牛顿方法

    本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

    Feb, 2024

  • 机器学习中非光滑凸优化问题的拟牛顿方法

    本研究将众所周知的 BFGS 拟牛顿方法及其内存限制变种 LBFGS 扩展到非平滑凸目标的优化，提出了 subBFGS 算法，其全局收敛，并使用其记忆限制变体（subLBFGS）来最小化 L2 正则化风险并开发了新的多类和多标签设置下的准确搜索算法。

    Apr, 2008

  • 具有全局复杂度分析的实用不精确近端拟牛顿方法

    提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

    Nov, 2013

  • 统一随机梯度下降和拟牛顿法的快速大规模优化

    该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、低维度子空间中，保持了计算可行性和限制了内存需求，且需要很少或不需要调整超参数。该算法与早期的随机二阶技术相反，早期技术将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似，而不是直接估计的目标。在七个不同的优化问题上进行了实验性的改进收敛表现，算法已发布为开源 Python 和 MATLAB 软件包。

    Nov, 2013

  • 无导数优化的查询复杂度

    本文提供了关于利用无噪声函数评估进行 Derivative Free Optimization 的收敛速度下限，揭示了算法性能之间的根本和不可避免的差距。然而，在某些情况下 DFO 是不可避免的，对于这种情况，我们提出了一种新的 DFO 算法，被证明对于强凸目标函数类是近乎最优的。该算法的一个独特特点是仅使用布尔值函数比较，而不是函数评估。这使得该算法在更广泛的应用范围内有用，例如基于人工主体配对比较的优化。我们还展示了无论 DFO 是基于有噪音的函数评估还是布尔值函数比较，收敛率都是相同的。

    Sep, 2012

  • 锐化的惰性增量拟牛顿法

    本文提出了一种 Sharpened Lazy Incremental Quasi-Newton (SLIQN) 方法，旨在解决在大规模自然语言处理等复杂应用领域中，快速且高效地求解凸函数的优化问题。通过将经典的 BFGS 更新规则与贪婪法相结合，以及采用惰性更新策略，该方法取得了显著优于其他基于增量算法的类欧几里得方法的结果。

    May, 2023

  • 带噪声的改进高斯 - 牛顿算法

    本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。

    May, 2023

  • 噪声无导数优化的动态各向异性平滑

    提出了一种创新算法，通过考虑目标函数的异质曲率，将球面平滑和高斯平滑方法扩展到噪声无导数优化中，动态调整平滑核的形状以逼近局部最优点周围的海森矩阵，从而通过采样大大减小了噪声评估中梯度估计的误差。通过对人工问题的数值实验展示了该方法的有效性，并展示了与现有的最先进启发式无导数和贝叶斯优化方法相比，在调整 NP - 难组合优化求解器时的改进性能。

    May, 2024

  • 一种用于无导数平滑随机凸优化的加速方法

    本文研究优化问题中目标函数存在不确定的噪声干扰，提出了基于导数的无导数算法，考虑了稀疏向量情况下使用 1 范数正则化的优化模型。

    Feb, 2018