课程学习:综述
本研究分析了课程学习对深度神经网络训练的影响,使用转移学习和自举法解决难度排序问题,以及不同的步伐函数指导采样,并最终证明其有效地修改了优化模型的全局最小解。
Apr, 2019
本文通过实验研究探究按难度排序训练的有效性,发现在标准测试数据集中,curricula 只有微弱的优势,证明其优势完全来自动态的训练集大小,同时发现在有限时间预算或数据存在噪声的情况下,curriculum 学习可以提高性能,而 anti-curriculum 则不能。
Dec, 2020
本文探讨了在神经检索模型训练中,如何通过对训练数据进行智能排序(即通过实行课程学习)来提高检索效率。作者利用大规模数据和会话响应排序任务,研究了如何确定难度以及如何过渡到更难的实例,取得了 2%的性能改进。
Dec, 2019
通过基于模型的方法计算难度分数,将训练实例分成两个类别:数据集层次和实例层次。通过实验,发现难度分数分别为实例层次和数据集层次,相对于各自的基线,平均性能提高了 4.17%和 3.15%,并且大多数的提高来自于正确应对困难实例,这个策略具有更好的效力。
May, 2022
通过引入一种建立在图复杂性规范和模型能力的新方法,本文在课程学习中提出了一种新的视角,该方法通过考虑不同样本困难度和模型能力的观点,在训练过程中推导出有效的课程表,为图神经网络的课程学习研究提供了进一步的发展。实验结果表明了该方法在实际的链接预测和节点分类任务中的有效性。
Jul, 2023
提出一种名为基于数据分布的课程学习(DDCL)的新型课程学习方法,通过评分方法确定训练样本的顺序,实验证明 DDCL 方法相对于无课程的标准评估,对多个数据集应用时,改善了平均分类准确率,并且通过错误损失分析表明,在单个训练时期,使用 DDCL 方法比无课程方法收敛更快。
Feb, 2024
本研究探讨了使用语言学课程学习法对语言模型预训练的效果,并且在 GLUE 基准测试中评估了转移性能,结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。
Aug, 2021
本篇论文提出了一种新的方法,通过评估学习进程来自动化选择神经网络学习课程,从而最大化学习效率。通过提供来自学习进展指标的信号以激励非静态多臂赌博机算法来的确定随机教学计划。对于 3 个课程上的 LSTM 网络的实验结果表明,我们的方法可以显著加快学习速度,在某些情况下,将实现令人满意的性能水平所需的时间减半。
Apr, 2017
本文研究课程学习在强化学习中的应用,并针对多个传递学习算法扩展已有的课程设计方法,通过学习 MDP(Markov Decision Process) 过程中的课程策略,得出可以用于训练代理人的课程,进而实现更快或同等方法的学习效率。
Dec, 2018