该研究提出了一种名为动态课程学习(DCL)的统一框架,可在线自适应地调整采样策略和损失学习,从而提高计算机视觉中人类属性分析任务的表现,实验结果显示 DCL 在面部属性数据集 CelebA 和行人属性数据集 RAP 上得到了新的最优性能。
Jan, 2019
该文介绍了如何通过课程学习来训练机器学习模型,从而提高性能和准确率,并且探讨了如何排序和引入更难的数据,同时提供了未来工作的一些方向。
Jan, 2021
本研究提出了一种基于课程学习的优化框架 CL-DRD,通过控制先前重排(教师)模型产生的训练数据难度级别来优化稠密检索(学生)模型,在三个公共语段检索数据集上的实验证明了该框架的有效性。
Apr, 2022
本文提出了一种新颖的自适应自我学习曲线方法,并使用两种不同的标准来评估样本的难度,通过从简单到困难的自适应速度重新排序和重采样训练数据。在多个分类任务上进行了广泛实验,证明了 SPDCL 的有效性,尤其是对于不平衡的数据集。
Oct, 2022
本研究提出一种动态课程学习方法,通过衡量模型的收益和能力来调整训练样本的顺序,从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明,该方法优于几个强基线,并适用于不同大小的 low-resource 机器翻译基准。
Nov, 2020
本文提出用学习的难度参数代替传统启发式方法, 并通过 Dynamic Data selection for Curriculum Learning via Ability Estimation(DDaCLAE)方法, 在每个训练 epoch 评估模型的能力以选择最佳训练数据。实验证明,使用学得的难度和 / 或能力的模型在 GLUE 分类任务上优于基于启发式的课程学习模型。
Oct, 2020
本研究通过 112 个实验证明,课程学习(Curriculum Learning)在使用密度估计方法进行人群计数时,可提高模型学习性能和收敛时间。
Jan, 2024
本文研究课程学习方法,通过改变标签表示来调整损失函数,提高深度学习模型的训练效果,在多个数据集上进行了实验验证。
Nov, 2019
采用课程学习策略和稀疏样本可改善神经网络学习效率,对于一个混合了稀疏和密集输入的数据分布,采用应用在稀疏样本中的 curriculum noisy-GD/SGB 算法训练的 2 层 ReLU 神经网络可在有限的步数内学习到足够大次数的奇偶类型问题,而对于任何通过 noisy-GD/SGB 算法训练的神经网络,无论宽度或深度的大小,都需要额外的步骤才能学习,这可以通过理论和实验得出的结论加以支持。
Jun, 2023
本研究分析了课程学习对深度神经网络训练的影响,使用转移学习和自举法解决难度排序问题,以及不同的步伐函数指导采样,并最终证明其有效地修改了优化模型的全局最小解。
Apr, 2019