Feb, 2020

统计自适应随机梯度方法

PDF
TL;DR提出一种名为 SALSA 的统计自适应程序，用于自动调整随机梯度方法中的学习率（步长），该方法使用平滑的随机线性搜索程序逐渐增加学习率，然后自动转换为一个新的统计方法来降低学习率，它在广泛的随机梯度算法中使用了一个新的统计测试来检测状态，能够适应多类深度学习任务。
statistical adaptive procedurelearning ratestochastic gradient methodsstationaritydeep learning tasks
发现论文，激发创造
  • 利用统计学自动化随机优化

    提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。

    Sep, 2019

  • 别再纠结学习率了

    本文提出了一种自动调整多个学习率的方法，以使期望误差最小化，该方法依赖于样本之间的局部梯度变化，并在凸学习任务和非凸学习任务中证明了该算法具有与 SGD 或其他自适应方法相同的性能。

    Jun, 2012

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017

  • 动态步长调度的局部最优下降

    我们介绍了一种新颖的动态学习率调度方案，旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长，确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界，与最新的边界相匹配，仅假设对平滑参数具有知识。然后，我们提出了我们算法的实际实现，并在不同数据集和优化算法上进行系统实验，将我们的方案与现有的最新学习率调度器进行比较。我们的发现表明，与现有方法相比，我们的方法需要最少的调整，消除了辅助手动调度和预热阶段的需要，并实现了具有大大减少参数调整的可比性能。

    Nov, 2023

  • 大规模机器学习问题的随机比率跟踪算法

    本文提出了一种适应性步长选择的算法，基于传统的非线性优化技术，通过分析结果表明，该算法可生成与手动调节最佳步长相当的步长，并产生期望收敛于解的固定邻域的迭代。

    May, 2023

  • 深度学习随机一阶方法的逐层自适应步长

    我们提出了一种新的逐层自适应步长过程，用于解决深度学习中用于最小化经验损失函数的随机一阶优化方法中需要调整学习率的问题，并且实验证明这种方法比 fine-tuned 学习率的方法以及一些常见的一阶或二阶优化方法更有效。

    May, 2023

  • 学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析

    我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。

    Jun, 2024

  • ADASECANT：用于随机梯度的鲁棒自适应割线法

    本文介绍一种新的自适应学习率算法，该算法利用曲率信息自动调整学习率，并提出一种新的方差缩减技术来加速收敛。在深度神经网络的初步实验中，与常见的随机梯度算法相比获得了更好的性能。

    Dec, 2014

  • AdaS：自适应调度随机梯度

    本文提出了一种名为 “自适应调度” 的算法，该算法利用奇异值得出的两个指标 “知识增益” 和 “映射条件”，并将 SGD 学习率与知识增益的变化率成比例地调整，实验表明该算法具有更快的收敛速度和更好的泛化性能。

    Jun, 2020

  • 面向噪声自适应、问题自适应（加速）随机梯度下降

    通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。

    Oct, 2021