LeRaC：学习率课程

May, 2022

LeRaC: Learning Rate Curriculum

Florinel-Alin Croitoru, Nicolae-Catalin Ristea, Radu Tudor Ionescu, Nicu Sebe

TL;DR本文提出了一种名为 Learning Rate Curriculum（LeRaC）的课程学习方法，使用不同的学习率来创建数据 - free 课程，在课程学习的初始训练时期，将更高的学习率分配给靠近输入的神经层，逐渐降低学习率。为了实验验证，本文使用了从计算机视觉（CIFAR-10，CIFAR-100，Tiny ImageNet），语言（BoolQ，QNLI，RTE）和音频（ESC-50，CREMA-D）领域中的 8 个数据集，考虑了各种卷积（ResNet-18，Wide-ResNet-50，DenseNet-121），循环（LSTM））和变压器（CvT，BERT，SepTr）架构，将该方法与常规的训练策略和 Curriculum by Smoothing（CBS）方法进行了比较。

Abstract

Most curriculum learning methods require an approach to sort the data samples by difficulty, which is often cumbersome to perform. In this work, we propose a novel curriculum learning approach termed

curriculum learning neural network learning rate performance improvement data-free

发现论文，激发创造

深度网络训练中课程学习的威力

本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

Apr, 2019

课程学习：综述

该文介绍了如何通过课程学习来训练机器学习模型，从而提高性能和准确率，并且探讨了如何排序和引入更难的数据，同时提供了未来工作的一些方向。

Jan, 2021

神经网络的自动课程学习

本篇论文提出了一种新的方法，通过评估学习进程来自动化选择神经网络学习课程，从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明，我们的方法可以显著加快学习速度，在某些情况下，将实现令人满意的性能水平所需的时间减半。

Apr, 2017

EfficientTrain: 探索通用课程学习，以培训视觉主干

本文提出一种新的课程学习方法，以高效训练视觉骨干（例如视觉变换器）。该方法利用深度网络的内在学习动态，实现在训练早期仅学习每个样例中更容易学习的部分，逐渐增加难度。通过在输入的 Fourier 频谱中引入裁剪操作，本方法可以更高效地学习低频信息，并通过减弱数据增强以暴露原始图像特征，设计了一种课程学习计划。结果表明，此方法简单、通用、有效，可以在不损失准确性的情况下，在 ImageNet-1K/22K 上将多种流行模型（例如 ResNet、ConvNeXt、DeiT、PVT、Swin 和 CSWin）的训练时间缩短 > 1.5 倍。

Nov, 2022

标签相似性课程学习

本文研究课程学习方法，通过改变标签表示来调整损失函数，提高深度学习模型的训练效果，在多个数据集上进行了实验验证。

Nov, 2019

关于使用混合输入进行奇偶目标的课程学习可证明的优势

采用课程学习策略和稀疏样本可改善神经网络学习效率，对于一个混合了稀疏和密集输入的数据分布，采用应用在稀疏样本中的 curriculum noisy-GD/SGB 算法训练的 2 层 ReLU 神经网络可在有限的步数内学习到足够大次数的奇偶类型问题，而对于任何通过 noisy-GD/SGB 算法训练的神经网络，无论宽度或深度的大小，都需要额外的步骤才能学习，这可以通过理论和实验得出的结论加以支持。

Jun, 2023

循环课程学习

本文介绍了一种称为周期课程学习（CCL）的人工神经网络训练方法，通过在训练数据集大小方面进行周期性改变，同时使用基本的和课程学习方法，成功地应用于 18 个不同数据集和 15 个架构的图像和文本分类任务上，实现了比现有 CL 方法更好的结果。

Feb, 2022

深度网络的分层自适应学习率

本文提出了一种优化方法以训练深度神经网络，该方法使用适应性学习率，以增加函数曲率低点的学习率。这可以加快网络浅层的学习，快速退出高误差低曲率鞍点，提高标准算法的准确性并减少所需的训练时间。

Oct, 2015

基于 LoRA 的持续学习的任务算术

我们提出了一种新颖的方法，利用低秩适应和任务算术，不断训练基于 Transformer 的视觉模型，绕过灾难性遗忘问题并减少训练计算需求。在每个类别仅使用 10 个样本的小内存的帮助下，我们的方法实现了接近于完整微调的性能，并通过严格的消融实验证明了我们方法的优势。

Nov, 2023

循环学习率用于神经网络训练

本文介绍了一种名为 “循环学习率” 的新方法，它可以消除实验找到全局学习率的最佳值和时间表的需要，从而在分类准确度方面取得了提高。此外，本文还描述了一种估算 “合理边界” 的简单方法。该方法可以应用于训练神经网络，并且已在多个数据集和网络结构上进行了实验。

Jun, 2015