Feb, 2018

加速随机矩阵求逆：一般理论和加速 BFGS 规则，用于更快的二阶优化

PDF
TL;DR本研究提出了第一种在欧几里得空间中解决线性系统问题的加速随机算法，应用于矩阵求逆问题，可得到正定矩阵，进而在优化和机器学习领域中具有广泛应用。该算法还可用于加速机器学习模型的训练。
linear systemsmatrix inversionpositive definite matricesoptimizationmachine learning
发现论文，激发创造
  • 随机拟牛顿更新是线性收敛的矩阵求逆算法

    研究发展了一类随机算法、其在矩阵反演、变量度量和大数据时代中的预处理等领域的应用，并成功实现并证明了块变量的几种拟牛顿法的随机版本，其中 AdaRBFGS 在大规模问题上表现卓越。

    Feb, 2016

  • 在线有限内存 BFGS 算法的全局收敛性

    证明了解决大规模机器学习中随机目标优化问题的在线随机有限内存版本的 Broyden-Fletcher-Goldfarb-Shanno 拟牛顿法全局收敛性，数值实验证明其优于随机梯度下降算法。

    Sep, 2014

  • 随机 L-BFGS 优化：改进的收敛速度和实用的加速策略

    本文针对随机有限内存 BFGS（L-BFGS）算法进行了回顾。通过提出新的收敛分析框架，我们证明了与之前的工作相比随机 L-BFGS 算法的收敛速度和计算复杂性均得到了改进。此外，我们提出了几种实用的加速策略来提高这种算法的实证性能，并对大多数策略进行了理论分析。大规模逻辑回归和岭回归问题的实验表明，我们提出的策略相对于现有的竞争性算法具有显著的改进。

    Apr, 2017

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 随机块 BFGS：从数据中挤出更多曲率

    提出了一种新型的有限记忆随机块 BFGS（L-BFGS）方法，用于在随机逼近方法中加入丰富信息的曲率问题，结果显示该方法在大规模日志回归问题上具有更好的鲁棒性和显著的优越性。

    Mar, 2016

  • 李群上的随机海森拟合

    该研究通过 Hessian 拟合及其逆方法与随机 Hessian 向量积的拟合准则对常用方法（如 BFGS、Gaussian-Newton、AdaGrad 等）进行了分析，揭示了不同的 Hessian 拟合方法具有不同的收敛速度，对于欧几里得空间中的梯度下降和对称正定矩阵及一定列维数的李群上的梯度下降有次线性和线性收敛速度。在特定但足够一般的李群上，该 Hessian 拟合问题被进一步证明具有强凸性。通过噪声 Hessian 向量积、时变 Hessians 和低精度计算的不同设置对这些方法进行了测试，这些发现对于依赖于快速、稳健和准确 Hessian 估计的随机二阶优化非常有用。

    Feb, 2024

  • 正则化随机 BFGS 算法

    介绍了如何利用正则化随机 BFGS 或 RES 方法以利用随机梯度下降算法来解决高维、随机目标函数下的凸优化问题，并通过数值实验展示了相对于随机梯度下降算法以及非正则化随机版本的 BFGS 具有更优的收敛时间。

    Jan, 2014

  • 非凸优化的异步随机拟牛顿 MCMC 算法

    本研究开发了一种适用于分布式和共享内存的异步并行随机 L-BFGS 算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。

    Jun, 2018

  • 具有更快超线性收敛速度的增量拟牛顿方法

    本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

    Feb, 2024

  • 加速随机梯度下降算法用于最小二乘回归

    本文研究加速随机梯度方法在最小二乘回归问题中的应用，通过对加速随机梯度下降作为随机过程的深入分析，证明了引入加速能够使其对统计误差具有鲁棒性，并提出了一种优于随机梯度下降的加速随机梯度方法。

    Apr, 2017