May, 2024

Polyak 遇上无参数 Clipped 梯度下降

PDF
TL;DR本研究探讨了参数自由方法在修剪的梯度下降中的应用，提出了非精确 Polyak 步长方法，其收敛速度与拥有良好调整的超参数的修剪梯度下降方法在 L 平滑和（L0，L1）平滑假设下，收敛到最优解的速度渐近独立。在合成函数和 LSTM、Nano-GPT 和 T5 的实验中验证了我们的收敛结果和方法的有效性。
gradient descenthyperparametersparameter-free methodsclipped gradient descentconvergence rate
发现论文，激发创造
  • 在轻松平滑条件下的参数无关优化

    通过理论和实验证明，Normalized Stochastic Gradient Descent with Momentum 算法在没有先验知识的情况下可以实现（接近）最优复杂度，但复杂度中引入了一个依赖于 (L_1) 的指数项，这是不可避免的。同时，在确定性设置下，可以通过使用 Gradient Descent with a Backtracking Line Search 来抵消指数因子。这是首个在广义平滑条件下提出的无需参数设置的收敛结果。

    Nov, 2023

  • 通过步长规划方法学习加速

    本文介绍了一种名为 Csawg 的新方法，它使用更新经验来学习改进的参数更新方式， 并且使用步长规划的方式加速 Gradient Descent 在 ill-conditioned 和 non-convex 问题中的收敛速度。在经过实验验证后，我们的方法获得了比 Nesterov 加速 Gradient 更快的收敛速度，并且在 Rosenbrock 函数的测试中取得了比 Gradient Descent 更快和更准确的收敛效果。

    Apr, 2022

  • 使用近似梯度进行超参数优化

    本文提出了一种算法来优化连续超参数，该方法可以在模型参数完全收敛之前更新超参数，具有全局收敛的充分条件，并在 L2 正则化逻辑回归和核岭回归的正则化常数估计上验证了实证表现。

    Feb, 2016

  • 非凸优化裁剪算法的改进分析

    本文通过引入一个新的假设 $(L_0, L_1)$-smoothness，系统研究了剪枝算法的一般框架及其在深度学习任务中的应用，提出了一种将动量方法结合剪枝算法的通用框架，并在确定性和随机性设置下对其进行了收敛性分析，结果表明剪枝算法的效率即使在非平滑的领域中也不会退化。

    Oct, 2020

  • 利用 Polyak 步长适应增强策略梯度

    本文介绍了在强化学习领域中广泛使用且具有收敛保证和稳定性的策略梯度算法，在解决参数敏感性问题的同时，通过实验展示了 Polyak 步长在强化学习中更快的收敛速度和更稳定的策略产生。

    Apr, 2024

  • 自适应步长随机梯度下降算法的收敛性

    通过研究广义 AdaGrad 步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现 O（1/T）到 O（1 / 根号 T）的插值（带有对数项）。

    May, 2018

  • 无参数随机优化有多自由？

    该文章研究了无参数随机优化问题，探讨在什么条件下能够存在完全无参数的方法，并且通过简单的超参数搜索技术，证明了在凸和非凸环境下，可以实现优于当前先进算法的完全无参数方法。同时，对于仅有随机梯度的情况，该研究还提供了基于下限的 (部分) 无参数方法。

    Feb, 2024

  • 免调节的随机优化

    大规模机器学习问题中，通过松散提示参数信息，提出了能够自动调整的 “无需调参” 的算法，能够与最优调参优化算法在多对数因子上实现性能匹配，特别是对于有界优化领域，证明了这种匹配是可能的，并且多个现有算法已经实现了该特性。然而，在无界领域中，证明了无需调参优化是不可能的，但在噪声分布足够良好的情况下，通过一些算法如 DoG 和 DoWG，可以满足无需调参的条件。对于查找光滑且可能非凸函数的稳定点，提出了一种改进的随机梯度下降（SGD）变体，以仅有多对数成本匹配调参 SGD 的最佳已知高概率收敛率，然而，也证明了任何算法都不可能满足与调参 SGD 高概率收敛率相匹配的最优期望收敛率。

    Feb, 2024

  • 自适应 Polyak 步长和线性搜索的 SGD 算法：稳健收敛和方差降低

    该研究提出了两种新的变体的随机 Polyak 步长和随机线性搜索算法，名为 AdaSPS 和 AdaSLS，它们保证了在非插值设置下的收敛，并在训练超参数化模型时维持凸函数和强凸函数的次线性和线性收敛速度。此外，通过引入方差缩减技术，这些算法能够在次优情况下进行梯度评估，达到 O（ε）次优性，从而改进了非插值区域 AdaSPS 和 AdaSLS 的较慢 O（1/ε^2）收敛速度。实验验证了算法的理论有效性和稳健性。

    Aug, 2023

  • 迈向无参数优化的稳定性

    提出了一种无需手动调节参数的优化器 AdamG，通过使用 AdaGrad-Norm 算法中的黄金步长派生技术，自动适应不同的优化问题并实现了与手动调节学习率的 Adam 相当的优化性能。

    May, 2024