本文提出了一种 Sharpened Lazy Incremental Quasi-Newton (SLIQN) 方法，旨在解决在大规模自然语言处理等复杂应用领域中，快速且高效地求解凸函数的优化问题。通过将经典的 BFGS 更新规则与贪婪法相结合，以及采用惰性更新策略，该方法取得了显著优于其他基于增量算法的类欧几里得方法的结果。

May, 2023

本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

Feb, 2024

本文提出了一个统一的框架，能够证明广泛使用的迭代一阶优化算法的指数收敛和次指数收敛速率，并展示了该框架对梯度法、近端算法及其加速变体的实用性，同时开发了连续时间对应物，能够分析梯度流和 Nesterov 加速法的连续时间极限。

May, 2017

本文针对具有 H"older 连续雅可比矩阵的大规模非线性方程的求解挑战，引入了一种新颖的具有显式超线性收敛速率的增量高斯 - 牛顿（IGN）方法，其性能优于仅实现线性收敛速率的现有方法。具体而言，我们通过具有有限和结构的非线性最小二乘问题来表述我们的问题，并且我们的方法在每一轮中逐渐迭代一个组件的信息。我们还为我们的 IGN 方法提供了小批量扩展，可以获得更快的超线性收敛速率。此外，我们进行了数值实验以展示所提方法的优势。

Jul, 2024

我们提出了两种非常简单的随机二阶方法，用于最小化大量充分光滑和强凸函数的平均值。第一种是牛顿方法的随机变体（SN），第二种是具有立方正则化的牛顿方法的随机变体（SCN）。与现有的随机二阶方法不同，我们的方法没有这种缺点，例如，我们的方法的最简单的变体每次迭代只需要计算一个随机选择函数的梯度和海森矩阵。与大多数现有的随机牛顿和拟牛顿方法相比，人们的方法保证了比一阶 oracle 更快的本地收敛，同时适应了问题的曲率。有趣的是，我们的方法不是无偏的，因此我们的理论为设计新的随机方法提供了新的直觉。

Dec, 2019

本文针对复合优化问题中一般且高效的不精确近端拟牛顿算法，在强凸目标函数下分析了其精确和不精确执行的收敛性质，并建立了一个简单的停止标准来改善其实用性。同时，对基于 FISTA 的近端拟牛顿算法进行加速，并与传统算法进行比较和分析，结果表明加速并没有带来任何好处。

Jul, 2016

本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。

Oct, 2014

本文提出了一种加速的拟牛顿近端外推（A-QPNE）算法来解决无约束光滑凸优化问题，证明了该方法能够实现收敛速度，并且通过蒙特罗 - 斯维特加速框架的变种来构建这个方法，并采用在线学习方法更新 Hessian 矩阵的近似，这个方法在一定范围内是优于 NAG 算法的.

Jun, 2023

本研究提出了一种有界存储拟牛顿方法（LG-BFGS），通过在控制存储需求的情况下利用过去的曲率信息来实现非渐近超线性收敛，并在速度和存储需求之间找到了一种平衡。

Jun, 2023

本文对凸性 Broyden 类的经典拟牛顿方法的本地超线性收敛进行了新的理论分析，从而得到了这些方法收敛速度的当前已知估计的显着改进，特别地，我们表明，Broyden-Fletcher-Goldfarb-Shanno 方法的相应速度仅取决于问题维数及其条件数的对数乘积。

Apr, 2020