通过使用随机 TR 和 ARC 方法，我们可以在同时提供 Hessian 矩阵、梯度和函数值的不精确计算的基础上，减少每次迭代的传播开销，从而获得与之前研究中的准确计算同级别的迭代复杂度以实现近似二阶最优性，并通过有限和最小化问题中的随机采样技术满足不精确性的温和条件。数值实验支持这些发现，并表明我们的算法在进行相同或相似次数的迭代时，每次迭代所需的计算开销较当前的二阶方法更少。

Oct, 2023

本文提出一种基于子采样的方法，以降低 cubic regularization 方法的高计算复杂度，并利用浓度不等式提出相应的采样方案，从而在保证 cubic regularization 方法的全局和局部收敛性的同时，给出其全局收敛保证的首个子采样变体在非凸函数的设置中的实验证明。

May, 2017

最近几年，我们见证了科学机器学习作为一种数据驱动的工具的兴起，通过深度学习技术分析计算科学和工程应用产生的数据。这些方法的核心是监督训练算法，用于学习神经网络实现，这是一个非常非凸的优化问题，通常使用随机梯度方法来解决。然而，科学机器学习训练问题与深度学习实践不同，它们具有更大量的平滑数据和更好的经验风险函数特征，使它们适用于无约束优化的常规求解器。我们介绍了一个轻量级的软件框架，建立在可移植和可扩展科学计算工具包之上，以弥合深度学习软件和无约束最小化的常规求解器之间的差距。我们通过实验证明，基于高斯 - 牛顿近似 Hessian 的信任域方法在学习科学机器学习技术和测试用例的代理模型时，可以显著提高回归任务中产生的泛化误差。所有被测试的常规二阶求解器，包括 L-BFGS 和带有线搜索的非精确牛顿法，无论在成本还是准确性上都与用于验证代理模型的自适应一阶方法相比较有利。

Mar, 2024

本文研究梯度下降和随机梯度下降等算法在机器学习中的应用，分析了这些算法在非凸优化问题中收敛到驻点的情况，提出了变形的算法可以更高效地避免出现维数灾难，从而沟通了理论和实践。

Feb, 2019

本文提出了一种可以匹配第一阶段方法迭代成本的机器学习优化问题的二阶随机方法，具有线性时间实现的稀疏输入数据。

Feb, 2016

本文介绍了一种基于线搜索的方法来发现平滑函数的不受限制的局部最小值，该方法使用迭代方法来计算搜索方向，收敛速度优秀。此外，还研究了使用共轭梯度和 Lanczos 方法进行搜索向量的近似计算，并得到了这些实用方法的修正收敛性和复杂性结果。

Jun, 2017

本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

Feb, 2020

本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

Sep, 2019

本文研究了梯度下降算法在非凸优化问题中的性能保证，发现梯度噪声对逃脱鞍点和到达二阶稳定点的效率起到了关键作用，提出了一个基于均方方法的替代方案来保证梯度噪声的相对方差较小就足以确保逃脱鞍点，而不需要注入其他噪声或采用全局分散噪声假设。

Aug, 2019

提出了非凸问题的近似解决方案；采用了三次正则化和信任域算法的不精确变体，并且可以应用于有限和问题，通过随机子采样法对梯度和 Hessian 进行适当精度逼近，实现了计算效率与最优迭代复杂度的权衡。

Feb, 2018