曲率信息的 SGD：通过通用李群预条件器

Feb, 2024

曲率信息的 SGD：通过通用李群预条件器

Curvature-Informed SGD via General Purpose Lie-Group Preconditioners

Omead Pooladzandi, Xi-Lin Li

TL;DR提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需要线性搜索或阻尼的标准在线更新两个预条件器。为了保持相应的对称性或不变性，我们将预条件器约束为某些连通的李群。李群的等变性质简化了预条件器拟合过程，而其不变性质消除了通常在二阶优化器中需要的阻尼需求。因此，参数更新的学习率和预条件器拟合的步长在自然数值化，它们的默认值在大多数情况下都能很好地工作。我们的方法为提高 SGD 的收敛速度提供了一个有希望的方向，且计算开销较低。我们证明，在多个现代深度学习架构上，基于预条件的 SGD（PSGD）在视觉，自然语言处理和强化学习任务上优于 SoTA。本文提供了复现玩具和大规模实验的代码。

Abstract

We present a novel approach to accelerate stochastic gradient descent (SGD) by utilizing curvature information obtained from hessian-vector products or finite differences of parameters and gradients, similar to t

stochastic gradient descent preconditioners hessian-vector products low-rank approximation convergence

发现论文，激发创造

用于 SGD 的矩阵李群上的预条件器

本文研究了两种类型的预处理器和预处理随机梯度下降（SGD）方法，这些预处理器可以从一个框架中导出，并且可以在用户指定的任何矩阵李群上使用自然或相对梯度下降进行有效估计。

Sep, 2018

预处理随机梯度下降

本文提出了一种新的方法，通过估计一个预条件器来加速随机梯度下降算法的收敛速度，适用于凸性和非凸性优化，具有稳定梯度降噪的效果，并且经过了大规模问题的有效预条件估计验证，可以在无需调整的情况下，高效解决深度神经网络等复杂问题

Dec, 2015

自适应预处理随机梯度 Langevin 动力学

本研究利用自适应参数预处理噪声的方法，将 Fisher Scoring 等高阶曲率信息引入 Stochastic Gradient Langevin Dynamics 中，使其能够有效地跳出深度神经网络中曲率异常的波动区域，与 Adam、AdaGrad 等一阶自适应方法的收敛速度相当，并在测试集上实现了与 SGD 同等的泛化性能。

Jun, 2019

使用预处理改进最小二乘问题的隐式正则化 SGD

通过对预处理的随机梯度下降（SGD）和岭回归的综合比较研究，我们建立了预处理的 SGD 和岭回归的过度风险界限，并证明了存在一个简单的预处理矩阵能够优于标准的和预处理的岭回归，从而展示了预处理的 SGD 的增强正则化效果。

Mar, 2024

深度神经网络的预条件随机梯度 Langevin 动力学

本研究提出并验证了使用自适应预处理与 SGLD 相结合的方法，在深度神经网络的训练中可以解决参数空间的病态和过拟合问题，并且在逻辑回归，前馈神经网络和卷积神经网络等模型上，表现出了最先进的性能。

Dec, 2015

预处理何时有助于或损害泛化能力？

此研究探讨一些最优化方法（包括用于神经网络的一阶梯度下降和二阶自然梯度下降）的隐式偏差如何影响其泛化性能，并提出了管理偏差方差的几种方法及在回归问题中的应用。

Jun, 2020

李群上的随机海森拟合

该研究通过 Hessian 拟合及其逆方法与随机 Hessian 向量积的拟合准则对常用方法（如 BFGS、Gaussian-Newton、AdaGrad 等）进行了分析，揭示了不同的 Hessian 拟合方法具有不同的收敛速度，对于欧几里得空间中的梯度下降和对称正定矩阵及一定列维数的李群上的梯度下降有次线性和线性收敛速度。在特定但足够一般的李群上，该 Hessian 拟合问题被进一步证明具有强凸性。通过噪声 Hessian 向量积、时变 Hessians 和低精度计算的不同设置对这些方法进行了测试，这些发现对于依赖于快速、稳健和准确 Hessian 估计的随机二阶优化非常有用。

Feb, 2024

非凸优化的平衡自适应学习率

该论文提出了一种基于 equilibration preconditioner 的新型自适应学习率方法：ESGD，与 RMSProp 相比收敛速度更快，在非凸问题上表现更好。

Feb, 2015

可扩展高斯过程超参数优化的预处理

本研究介绍了一种新的算法和理论视角，通过预处理来优化计算 Gaussian 过程中超参数的对数行列式及其导数，证明了其可行性，并在大规模基准问题上进行了实证验证，取得了杰出的效果。

Jul, 2021

大规模约束线性回归再访：通过预条件处理获得更快算法

这篇论文提出了基于近期的数据草图 (sketching) 与优化发展的快速方法，结合 (加速的) mini-batch SGD 与一个叫做两步预处理的新方法，以比当前低精度情况下最先进技术所需的时间复杂度更低的近似解。这个方法也可以扩展到高精度情况，提供一个具有显著时间复杂度改进的 Iterative Hessian Sketch (IHS) 方法的替代实现。基准和合成数据集上的实验表明，我们的方法确实在低精度和高精度情况下都明显优于现有方法。

Feb, 2018