通过基于模型的方法计算难度分数，将训练实例分成两个类别：数据集层次和实例层次。通过实验，发现难度分数分别为实例层次和数据集层次，相对于各自的基线，平均性能提高了 4.17％和 3.15％，并且大多数的提高来自于正确应对困难实例，这个策略具有更好的效力。

May, 2022

通过数据操纵和语法分析引导的一系列预训练步骤（课程），在源任务与目标任务分布漂移时实现进一步逐步适应，相较于其他已知的预训练方法，在 MultiWoZ 任务方面取得了显著的改进。

Aug, 2023

本文提出了一种新的多任务学习的信息共享方案，通过注意力机制为所有任务共享相同的句子表示，使每个任务都能从中选择任务特定的信息，并在 16 个不同的文本分类任务上进行了实验，证明了该架构的优势。

Apr, 2018

通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

May, 2024

本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

Mar, 2022

本文提出了一种处理多个任务的顺序学习方法，通过仅在相关性较高的任务之间共享信息，其基于广义绑定准则的任务顺序决策能够优化任务分类绩效并自动发现任务最佳顺序。实验结果表明，顺序学习比同时学习更加有效，任务完成顺序重要并具有指引意义。

Dec, 2014

本研究提出一种基于自学习的数据到文本生成方法，通过前置学习模型生成的伪标签数据，显式地捕捉数据和文本之间的复杂关系，以及一种称为基于课程设置的自学习 (CBST) 的新方法来缓解伪标签数据的质量问题，在少量标记的数据集下显著优于基于现有技术的元认知预训练和微调方法，本方法成为数据到文本生成领域中的最佳方法。

Jun, 2022

本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越 SimCSE 的表现，平均 Spearman 相关性增加了 2.60％（BERT-base）和 1.77％（BERT-large），成为无监督句子表示学习方法中的最新成果。

Oct, 2022

提出了一种针对序列标注任务设计的两阶段课程学习（TCL）框架，通过逐渐引入易难的数据实例来提高性能和训练速度，以增强序列标注模型的性能，通过在六个中文分词（CWS）和词性标注（POS）数据集上的实验证明了该模型的有效性，并表明 TCL 加速了训练并缓解了复杂模型的慢训练问题。

Feb, 2024

本文研究从结构化数据和文本对中选择训练样本以优化 CURRICULUM LEARNING，并提出了一种软编辑距离度量方法，实验表明，该方法能够提高训练速度和性能。

Feb, 2021