通过对预处理的随机梯度下降（SGD）和岭回归的综合比较研究，我们建立了预处理的 SGD 和岭回归的过度风险界限，并证明了存在一个简单的预处理矩阵能够优于标准的和预处理的岭回归，从而展示了预处理的 SGD 的增强正则化效果。

Mar, 2024

本研究论文介绍了一种名为 ScaledGD 的新算法，通过合适的预处理能够快速收敛于低秩对象，并在多种任务中保持梯度下降的低迭代成本，同时无论条件数如何，都能以恒定速率线性收敛，突出了在加速非凸统计估计中适当预处理的能力。

Oct, 2023

我们介绍了一种新的预条件化迭代方法类别，用于解决线性系统的求解问题，并基于使用稀疏随机草图构建对 A 的低秩 Nyström 近似。我们证明，我们的方法的收敛性取决于 A 的自然平均条件数，该条件数随着 Nyström 近似的秩增加而改善。具体而言，这使得我们能够以更快的速度解决许多基本的线性代数问题，并且我们的工作采用完全不同的方法，利用矩阵缩略图工具。

May, 2024

提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需要线性搜索或阻尼的标准在线更新两个预条件器。为了保持相应的对称性或不变性，我们将预条件器约束为某些连通的李群。李群的等变性质简化了预条件器拟合过程，而其不变性质消除了通常在二阶优化器中需要的阻尼需求。因此，参数更新的学习率和预条件器拟合的步长在自然数值化，它们的默认值在大多数情况下都能很好地工作。我们的方法为提高 SGD 的收敛速度提供了一个有希望的方向，且计算开销较低。我们证明，在多个现代深度学习架构上，基于预条件的 SGD（PSGD）在视觉，自然语言处理和强化学习任务上优于 SoTA。本文提供了复现玩具和大规模实验的代码。

Feb, 2024

本文提出了一种基于牛顿法的优化程序，通过迭代两个子问题来实现高效计算，使用块协调下降来限制内存使用并实现快速收敛，解决了大规模问题下的内存限制和精度问题。

Sep, 2015

本文提出了一种新的方法，通过估计一个预条件器来加速随机梯度下降算法的收敛速度，适用于凸性和非凸性优化，具有稳定梯度降噪的效果，并且经过了大规模问题的有效预条件估计验证，可以在无需调整的情况下，高效解决深度神经网络等复杂问题

Dec, 2015

本文提出一种新算法 ScaledGD，它是梯度下降方法的预处理或对角线缩放版本，其预处理器是自适应且具有最小的计算开销，在低秩矩阵感知，鲁棒主成分分析和矩阵完成等任务中实现了线性收敛，具有优秀的性能表现。

May, 2020

该研究提出了一种新颖的自适应步长方法来解决随机梯度下降（SGD）中的问题，通过利用我们识别出的可追踪的量（梯度的 Lipschitz 常数和搜索方向的局部方差的概念），我们的发现为随机优化提供了几乎无需调参的算法，该算法在应用于二次问题时具有可证明的收敛性质，并在经典图像分类任务中展现出真正的问题自适应行为。我们的框架还可以包含预处理器，从而实现对随机二阶优化方法的自适应步长的实现。

Nov, 2023

本研究介绍了一种新的算法和理论视角，通过预处理来优化计算 Gaussian 过程中超参数的对数行列式及其导数，证明了其可行性，并在大规模基准问题上进行了实证验证，取得了杰出的效果。

Jul, 2021

利用线性草图方法开发了一种新的预处理方法，将其应用于随机方差减少梯度（SVRG）算法，相对于 SVRG，SDCA 和 SAG 等快速随机方法取得了显著的加速效果。

Feb, 2016