分形学习率调度加速

ICMLMar, 2021

Acceleration via Fractal Learning Rate Schedules

Naman Agarwal, Surbhi Goel, Cyril Zhang

TL;DR本文研究了迭代优化中的学习率问题，在深度学习中提出了一种新的 Chebyshev 学习率调度方式，此方式与分数阶微积分有关，并且此方式可以在出现不稳定更新时保持局部收敛。

Abstract

In practical applications of iterative first-order optimization, the learning rate schedule remains notoriously difficult to understand and expensive to tune. We demonstrate the presence of these subtleties even in the innocuous case when the objective is a convex quadratic. We reinterpret an iterative algorithm from the numerical analysis literature as what

iterative optimization learning rate schedule chebyshev learning rate schedule fractal ordering deep learning

发现论文，激发创造

何时、为何以及何倍？通过优化改进的自适应学习率调度

学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

Oct, 2023

学习自适应学习率调度

本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

Sep, 2019

动态步长调度的局部最优下降

我们介绍了一种新颖的动态学习率调度方案，旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长，确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界，与最新的边界相匹配，仅假设对平滑参数具有知识。然后，我们提出了我们算法的实际实现，并在不同数据集和优化算法上进行系统实验，将我们的方案与现有的最新学习率调度器进行比较。我们的发现表明，与现有方法相比，我们的方法需要最少的调整，消除了辅助手动调度和预热阶段的需要，并实现了具有大大减少参数调整的可比性能。

Nov, 2023

阶梯衰减策略：一种近似最优、几何下降的最小二乘学习速率过程

这项工作研究了随机梯度下降对于流式最小二乘回归问题的最终迭代行为并探讨使用 Step Decay 调度方案实现可接受的改进，同时发现 SGD 的最终迭代行为不如期望，并强调了随机梯度下降固定时间限制下确定最优学习率方案的复杂性。

Apr, 2019

循环对数退火作为学习率调度器

学习率调度器是在模型训练过程中变化搜索步长的预定指令集。本文介绍了一种新的对数方法，通过随机梯度下降对步长进行严格的重新启动。循环对数退火更积极地实施重新启动模式，可能在在线凸优化框架上允许更贪婪的算法的使用。该算法在 CIFAR-10 图像数据集上进行了测试，并表现出与余弦退火在大型变压器增强残差神经网络上类似的性能。未来的实验将涉及在生成对抗网络中测试调度器，并通过更多实验找到调度器的最佳参数。

Mar, 2024

随机优化算法的分形结构和泛化特性

本文基于动态系统理论的视角，将随机优化算法表示为随机迭代函数系统，并证明了一种与它的不变测度下的分形结构的复杂性相关的泛化误差界，特别针对现代神经网络开发了一种高效算法。

Jun, 2021

用梯度下降学习分形

本文介绍了一种通过梯度下降学习分形图像参数的方法，用于生成类似于目标图像的分形图像，此方法具有高可视品质的能力并且具备对不同损失函数的兼容性，为后续任务、科学理解等提供了多种应用潜力。

Mar, 2023

将自适应梯度方法从学习率中解开

本文研究了深度学习优化算法中的多个混淆因素，特别是探索了自适应梯度方法与学习率调度之间的相互作用，提出了一种 “嫁接” 实验，并给出了对自适应梯度方法泛化能力的实证和理论回顾。

Feb, 2020

WNGrad: 梯度下降中的学习率学习

我们提出了一种具有鲁棒性、适用于批量和随机梯度下降的学习率的非线性更新规则，该方法可实现基于梯度观察的学习率逐步降低，最终达到高效收敛。

Mar, 2018

利用统计学自动化随机优化

提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。

Sep, 2019