课程学习理论与凸损失函数
本文针对在随机梯度下降优化凸线性回归损失时的课程学习进行了理论研究，并探讨了在训练卷积神经网络时如何通过迁移学习推断课程学习。实验证明，理论与实践表现相似，课程学习能够有效地提升模型的泛化性能，并对异常情况拥有鲁棒性。
Feb, 2018
本文提出了一种新的适应性课程学习损失（CurricularFace），通过将课程学习的思想嵌入到损失函数中来实现深度人脸识别的新型训练策略，旨在解决早期训练阶段的简单样本和后期的困难样本。该方法根据样本的难易程度自适应地调整简单和困难样本的相对重要性，在各个阶段分配不同的样本，实验结果表明该方法优于现有竞争对手。
Apr, 2020
介绍课程发现问题，提出一种能够在课程空间内根据样本难度的先验知识，发现有效课程的课程学习框架。使用注释熵和损失作为难度度量标准，我们发现：（i）对于给定的模型和数据集，顶级发现的课程通常是非单调课程，而不是现有文献中的单调课程，（ii）普遍的易于难或难于易过渡课程往往存在表现不佳的风险，（iii）在较小的数据集和模型上表现良好的课程在较大数据集和模型上表现也很好。该框架包含一些现有的课程学习方法，并可以发现在几个自然语言处理任务上优于它们的课程。
Jul, 2023
该研究旨在通过对 4 个图像和 4 个文本数据集进行实验，比较得出使用不同评分函数进行 Curriculum Learning 的效果。结果表明，在图像数据集中使用迁移学习得到的评分函数相较于传统的模型训练和其他评分函数有显著的改进。
Feb, 2022
研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。
Oct, 2014
本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。
Mar, 2017
本文研究了鲁棒损失函数在标签噪声下的训练动态，通过重新表示大多数损失函数为具有相同类得分边界和不同样本加权函数的形式，提供了对训练动态的直观分析，证明了简单的修复可使欠拟合的鲁棒损失函数竞争力与最先进的方法相当，而训练时间表可以明显影响噪声鲁棒性，即使使用鲁棒损失函数。
May, 2023
本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。
Apr, 2019