Apr, 2024

新的随机梯度下降的对数步长

PDF
TL;DR本文提出了一种利用新的对数步长的随机梯度下降（SGD）方法的新型热重启技术，对于平滑和非凸函数，我们建立了 SGD 的 O（1/√T）收敛速度。我们对 FashionMinst，CIFAR10 和 CIFAR100 数据集进行了全面的实现，证明了新提出的步长的高效性。此外，我们将结果与其他九种现有方法进行了比较，并证明在使用卷积神经网络（CNN）模型时，新的对数步长将 CIFAR100 数据集的测试准确性提高了 0.9％。
warm restart techniquelogarithmic step sizestochastic gradient descentconvergence rateconvolutional neural network
发现论文，激发创造
  • 增强型随机梯度下降算法的改进步长：收敛性和实验

    该论文提出了一种新颖的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降 (SGD) 算法的性能。所提出的步长整合了对数项，在最后的迭代中选择较小的值。通过分析，我们在非凸光滑函数无 Polyak-Lojasiewicz 条件的情况下，建立了收敛速度为 O (ln T/√T)。为了评估我们的方法的有效性，我们在 FashionMNIST 和 CIFAR10 数据集上进行了图像分类任务的数值实验，结果显示与传统的 1/√t 步长相比，准确率明显提高，分别观察到 0.5% 和 1.4% 的增益。源代码可以在 https://github.com/Shamaeem/LNSQRTStepSize 找到。

    Sep, 2023

  • SGDR: 带有热重启的随机梯度下降

    本篇论文提出了一种针对随机梯度下降的简单热重启技术，以提高训练深度神经网络的任意性能，并在 CIFAR-10 和 CIFAR-100 数据集上证明了其优越的表现。

    Aug, 2016

  • 自适应预条件化随机梯度下降的步长

    该研究提出了一种新颖的自适应步长方法来解决随机梯度下降（SGD）中的问题，通过利用我们识别出的可追踪的量（梯度的 Lipschitz 常数和搜索方向的局部方差的概念），我们的发现为随机优化提供了几乎无需调参的算法，该算法在应用于二次问题时具有可证明的收敛性质，并在经典图像分类任务中展现出真正的问题自适应行为。我们的框架还可以包含预处理器，从而实现对随机二阶优化方法的自适应步长的实现。

    Nov, 2023

  • 指数和余弦步长的再审视：简易性、适应性和性能

    研究指出指数步长和余弦步长是自适应噪声水平的，不需要知道噪声水平和调整超参数就可以达到几乎最佳性能。探讨了这两种优化策略的收敛速度和表现，实验证明它们最多只需要调整两个超参数就可达到优秀的表现。

    Feb, 2020

  • 逻辑损失的大步梯度下降：损失的非单调性提高了优化效率

    使用常数步长的梯度下降算法应用于线性可分数据的逻辑回归，证明了在初始震荡阶段后，算法能够在 a 步的时间内实现 O (1/(aT)) 的收敛速率，从而在总步数为 T 的情况下，通过积极地调整步长可以达到 O (1/T^2) 的加速损失，无需使用动量或变化的步长调度器。

    Feb, 2024

  • 深度学习随机一阶方法的逐层自适应步长

    我们提出了一种新的逐层自适应步长过程，用于解决深度学习中用于最小化经验损失函数的随机一阶优化方法中需要调整学习率的问题，并且实验证明这种方法比 fine-tuned 学习率的方法以及一些常见的一阶或二阶优化方法更有效。

    May, 2023

  • L4：深度学习实用的基于损失的步长自适应算法

    本文提出了一种基于损失函数进行梯度重新标度的步长自适应方案（Stepsize Adaptation Scheme），以达到对损失的预测进度的固定要求。作者用 Adam 和 Momentum 优化器进行了实验，通过该方案改进了它们的性能，在多种网络结构和数据集上进行了验证。与定常步长相比，增强优化器在不增加计算量的情况下，表现稳定优于定常步长优化器，甚至是最佳的优化器。

    Feb, 2018

  • 面向噪声自适应、问题自适应（加速）随机梯度下降

    通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。

    Oct, 2021

  • 自适应步长随机梯度下降算法的收敛性

    通过研究广义 AdaGrad 步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现 O（1/T）到 O（1 / 根号 T）的插值（带有对数项）。

    May, 2018

  • 非可分数据和大步长情况下的逻辑回归梯度下降

    研究了使用大的恒定步长的逻辑回归问题上的梯度下降（GD）动态。

    Jun, 2024