循环学习率用于神经网络训练
本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。
Sep, 2019
本文基于 LRBench 系统对 13 种学习率函数以及相应的学习率策略进行研究，提出了一组评估和选择学习率策略的度量标准，包括分类置信度、方差、成本和鲁棒性，表明 LRBench 辅助用户选择好的学习率策略，避免训练深度神经网络时出现不良策略。
Aug, 2019
通过观测神经网络的的新结果，通过应用循环学习速率（CLR）和线性网络插值，我们探讨了训练残差网络时发现的以前未报告的现象，其行为包括训练损失的反直觉增减和快速训练，如 CLR 即使使用较大的学习速率也能产生更高的测试准确性。
Feb, 2017
本研究介绍了以简单的训练开始和结束，在中间轮次进行困难训练的 “通用循环训练” 的原则，并提出了几种训练神经网络的表现形式，包括基于算法、基于数据和基于模型的例子。此外，还介绍了多种新技术和建议更改典型的训练方法，总结出通用循环训练的概念，并探讨了几种应用于训练神经网络的具体方式。
Feb, 2022
学习率调度器是在模型训练过程中变化搜索步长的预定指令集。本文介绍了一种新的对数方法，通过随机梯度下降对步长进行严格的重新启动。循环对数退火更积极地实施重新启动模式，可能在在线凸优化框架上允许更贪婪的算法的使用。该算法在 CIFAR-10 图像数据集上进行了测试，并表现出与余弦退火在大型变压器增强残差神经网络上类似的性能。未来的实验将涉及在生成对抗网络中测试调度器，并通过更多实验找到调度器的最佳参数。
Mar, 2024
本文提出了一种优化方法以训练深度神经网络，该方法使用适应性学习率，以增加函数曲率低点的学习率。这可以加快网络浅层的学习，快速退出高误差低曲率鞍点，提高标准算法的准确性并减少所需的训练时间。
Oct, 2015
本文介绍了一种称为周期课程学习（CCL）的人工神经网络训练方法，通过在训练数据集大小方面进行周期性改变，同时使用基本的和课程学习方法，成功地应用于 18 个不同数据集和 15 个架构的图像和文本分类任务上，实现了比现有 CL 方法更好的结果。
Feb, 2022
通过实验在 ImageNet22k 和 Oxford Flowers 数据集上，探究神经网络层的学习率、数据集的图片与标签参数对转移学习的影响，优化神经网络的学习效率，实现图像分类任务的高准确度。
Jul, 2018
该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。
May, 2021