Jul, 2024

自动梯度下降与广义牛顿法

PDF
TL;DR我们提出了广义牛顿法（GeN）—— 一种基于海森矩阵的方法，适用于任何优化器（如 SGD 和 Adam），并将牛顿 - 拉弗森法作为一个子案例。我们的方法自动动态地选择加速收敛的学习率，无需进行繁琐的学习率调度。在实践中，我们的方法易于实施，因为它只需要进行附加的前向传递，几乎不会带来计算开销（以训练时间和内存成本计），如果将开销分摊到许多迭代中。我们展示了在语言和视觉任务上的大量实验证明 GeN 优化器可以与现有技术的性能相匹配，而这些现有技术是通过仔细调整学习率调度器来实现的。代码将在 https://github.com/ShiyunXu/AutoGeN 发布。
generalized newton's methodoptimizerlearning rateconvergenceperformance
发现论文，激发创造
  • 深度神经网络训练的精确 Gauss-Newton 优化

    我们介绍了 EGN，一种随机二阶优化算法，将广义高斯 - 牛顿（GN）Hessian 近似与低秩线性代数相结合，计算下降方向。借助 Duncan-Guttman 矩阵恒等式，通过分解一个与小批次大小相同的矩阵来获得参数更新，这在维度远超批次大小的大规模机器学习问题中特别有优势。此外，我们展示了如何将线搜索、自适应正则化和动量等改进无缝地添加到 EGN 中以进一步加速算法。此外，在温和假设下，我们证明了我们的算法以线性速率收敛到一个 ε- 稳定点。最后，我们的数值实验表明，在各种监督学习和强化学习任务中，EGN 始终超过或最多与 SGD、Adam 和 SGN 等优化器的泛化性能相匹配。

    May, 2024

  • 使用超梯度下降进行在线学习率调整

    本文介绍一种通用的方法来提高基于梯度的优化算法的收敛速度，通过将该方法应用到随机梯度下降、带有 Nesterov 动量的随机梯度下降和 Adam 等常用算法上，我们展示了该方法在一系列优化问题中的有效性，大大减少了对这些算法的初始学习率进行手动调整的需求；我们的方法通过使用与更新规则自身的学习率相关的梯度在优化过程中动态更新学习率，计算这个 “超梯度” 需要很少的额外计算，只需要将原始梯度的一个额外副本存储在内存中，并且只依靠于反向模式自动微分提供的内容。

    Mar, 2017

  • 学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析

    我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。

    Jun, 2024

  • Gram-Gauss-Newton 方法：学习超参数神经网络用于回归问题

    本文介绍了一种新的 Gram-Gauss-Newton (GGN) 算法用于训练使用方形损失函数的深度神经网络，并借鉴了神经切线核（NTK）的想法。与典型的二阶方法相比，GGN 在每次迭代中只有小的开销。本文还给出了理论结果，证明对于足够广的神经网络，GGN 的收敛速度是二次的。此外，我们还提供了 mini-batch GGN 算法的收敛保证，这是我们知道的第一个关于超参数神经网络 mini-batch 版本的二阶方法的收敛结果。初步的实验表明，对于训练常规网络，我们的 GGN 算法比 SGD 收敛速度更快，性能更好。

    May, 2019

  • 规则化的高斯牛顿方法优化超参数化神经网络

    研究了使用广义高斯 - 牛顿优化方法优化具有显式正则化的双层神经网络，通过考虑常用目标函数中惩罚项的光滑近似来提供自适应学习率选择技术，数值实验结果突出了广义自共轭正则化对优化后的神经网络泛化性能的改善方面。

    Apr, 2024

  • AGD：一种使用逐步梯度差分的自动可切换优化器用于预调整矩阵

    我们提出了一种新的自适应优化器 AGD，它利用梯度差异作为对角元素来设计预条件矩阵，并引入了自动切换功能，能够在不同场景下自动切换 SGD 和自适应优化器，实现更好的泛化性能。

    Dec, 2023

  • 一种几何替代 Nesterov 加速梯度下降算法的方法

    我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

    Jun, 2015

  • 一种全局收敛的增量式牛顿法

    本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。

    Oct, 2014

  • 具有超线性收敛速度的增量高斯 - 牛顿方法

    本文针对具有 H"older 连续雅可比矩阵的大规模非线性方程的求解挑战，引入了一种新颖的具有显式超线性收敛速率的增量高斯 - 牛顿（IGN）方法，其性能优于仅实现线性收敛速率的现有方法。具体而言，我们通过具有有限和结构的非线性最小二乘问题来表述我们的问题，并且我们的方法在每一轮中逐渐迭代一个组件的信息。我们还为我们的 IGN 方法提供了小批量扩展，可以获得更快的超线性收敛速率。此外，我们进行了数值实验以展示所提方法的优势。

    Jul, 2024

  • 高效的子采样 Gauss-Newton 和自然梯度方法用于训练神经网络

    使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

    Jun, 2019