提出了随机方差减小的 Nesterov's Accelerated Quasi-Newton 方法，分别在 Tensorflow 上进行标准测试，结果表明相比传统方法，这种方法对于大规模数据的神经网络训练能够有效提高性能。

Oct, 2019

本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

Sep, 2019

本文提出了一种加速的拟牛顿近端外推（A-QPNE）算法来解决无约束光滑凸优化问题，证明了该方法能够实现收敛速度，并且通过蒙特罗 - 斯维特加速框架的变种来构建这个方法，并采用在线学习方法更新 Hessian 矩阵的近似，这个方法在一定范围内是优于 NAG 算法的.

Jun, 2023

本篇论文提出了一种名为 adaQN 的随机拟牛顿算法，用于解决循环神经网络 (RNN) 训练中的梯度消失 / 爆炸问题，该方法使用了一种新的 L-BFGS 缩放初始化方案，并且在存储和保留 L-BFGS 曲率对方面非常明智，实践表明 adaQN 与流行的 RNN 训练算法有相当的竞争力。

Nov, 2015

本文针对复合优化问题中一般且高效的不精确近端拟牛顿算法，在强凸目标函数下分析了其精确和不精确执行的收敛性质，并建立了一个简单的停止标准来改善其实用性。同时，对基于 FISTA 的近端拟牛顿算法进行加速，并与传统算法进行比较和分析，结果表明加速并没有带来任何好处。

Jul, 2016

我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

Jun, 2015

本文提出一种增量式拟牛顿方法来最小化一个可用 n 个平滑和强凸函数表示的目标函数，该方法是一种随机和增量方法，每次迭代的成本与 n 无关，其收敛特性介于确定性和随机拟牛顿方法之间，利用聚合信息和泰勒展开近似函数、周期性更新目标函数等特性实现了在最优解局部范围内的局部超线性收敛率。

Feb, 2017

该论文将 Nesterov 的加速梯度方法推广到非凸和可能的随机优化问题中，证明该方法可以最优地解决一般的非凸光滑优化问题，并可应用于重要类的复合优化问题和非凸随机优化问题，是文献中第一次确立了 AG 方法解决非凸非线性规划的收敛性。

Oct, 2013

本文提出一种结合 Alternating minimization（AM）和 Nesterov's acceleration 的自适应加速交替最小化算法，可用于解决具有凸性和非凸性的优化问题，同时不需要任何有关问题的凸性或函数参数等知识。通过证明该算法的收敛速度，得出该方法是自适应且优化的。此外还为具有线性约束的强凸问题开发了其原始 - 对偶修改。

Jun, 2019

利用量子线性求解器算法的 Q-Newton 提供了一种加速神经网络训练的混合量子 - 经典调度器，具有指数级加速的潜力，并且在减少训练时间方面表现出显著优势。

Apr, 2024