本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

Apr, 2019

本篇论文提出了一种新的方法，通过评估学习进程来自动化选择神经网络学习课程，从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明，我们的方法可以显著加快学习速度，在某些情况下，将实现令人满意的性能水平所需的时间减半。

Apr, 2017

本文提出了针对深度神经网络在存在噪声标签的情况下出现的过拟合现象的解决方法，使用一个名为 MentorNet 的神经网络来指导训练，使得学生网络 StudentNet 能够动态地学习数据驱动的课程并关注那些可能被正确标记的样本，实验证明该方法可以显著提高在噪声标签下训练的深度网络的泛化性能，并在包含 220 万张真实世界噪声标签的 WebVision 基准测试中获得最佳的已发布结果。

Dec, 2017

该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

Aug, 2018

本文提出一种新的课程学习方法，以高效训练视觉骨干（例如视觉变换器）。该方法利用深度网络的内在学习动态，实现在训练早期仅学习每个样例中更容易学习的部分，逐渐增加难度。通过在输入的 Fourier 频谱中引入裁剪操作，本方法可以更高效地学习低频信息，并通过减弱数据增强以暴露原始图像特征，设计了一种课程学习计划。结果表明，此方法简单、通用、有效，可以在不损失准确性的情况下，在 ImageNet-1K/22K 上将多种流行模型（例如 ResNet、ConvNeXt、DeiT、PVT、Swin 和 CSWin）的训练时间缩短 > 1.5 倍。

Nov, 2022

本文针对在随机梯度下降优化凸线性回归损失时的课程学习进行了理论研究，并探讨了在训练卷积神经网络时如何通过迁移学习推断课程学习。实验证明，理论与实践表现相似，课程学习能够有效地提升模型的泛化性能，并对异常情况拥有鲁棒性。

Feb, 2018

本文介绍了一种名为 SimNet 解决方案的深度连体网络，这个网络使用一种新颖的在线对挖掘策略进行了训练，同时创建了一个多尺度 CNN, 最终图像嵌入是顶层和底层嵌入的联合表示，表明这种多尺度连体网络比传统 CNN 更能捕捉细粒度的图像相似性。

Sep, 2017

本文研究了使用课程学习策略获得更好、更快地训练深度神经网络的方法，尝试不同的采样和跳帧变种，发现在 KITTI-MOTS 挑战中使用逆序的采样策略表现更好，而在训练时渐进跳帧则只有在使用真实的蒙版进行训练时才有益。

Aug, 2020

本文提出了一种使用大量网络数据来学习 CNN 的方法。具体地，我们利用了课程学习的思想，提出了一种 CNN 训练的两步方法，表现优异且鲁棒性强。我们使用这种方法在 VOC 2007 上实现了最佳性能，并在其中演示了网络监督学习的强大功能。

May, 2015

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014