本文研究从结构化数据和文本对中选择训练样本以优化 CURRICULUM LEARNING,并提出了一种软编辑距离度量方法,实验表明,该方法能够提高训练速度和性能。
Feb, 2021
采用概率课程学习方法,可以在不损失翻译质量的前提下,缩短德语 - 英语翻译模型的收敛时间,但具体效果受到样本难度标准、课程表和超参数的影响。
Nov, 2018
该文介绍了如何通过课程学习来训练机器学习模型,从而提高性能和准确率,并且探讨了如何排序和引入更难的数据,同时提供了未来工作的一些方向。
Jan, 2021
本篇论文探讨了如何通过 Curriculum Learning 使用有组织的训练数据,以提高机器学习模型的性能,并在语音识别领域证明了这一方法的有效性。
Aug, 2022
提出了一个框架以训练非自回归序列到序列模型进行编辑任务,在此过程中,原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题,从而显著提高了英文编辑任务上的输出质量和输出复杂度。
Mar, 2022
本文提出了一种基于课程学习的神经机器翻译框架,通过对训练样本进行过滤,提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量,还可以防止模型陷入局部最优解,从而获得更好的性能表现。实验结果表明,该方法可以在保证翻译质量的同时减少训练时间达 70%。
Mar, 2019
通过数据操纵和语法分析引导的一系列预训练步骤(课程),在源任务与目标任务分布漂移时实现进一步逐步适应,相较于其他已知的预训练方法,在 MultiWoZ 任务方面取得了显著的改进。
Aug, 2023
本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架,通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明,所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量,并大幅优于其他强基线方法。
Apr, 2020
我们通过三种认知引导的课程学习变体对模型在语言评估任务上的性能进行了分析,并发现在早期训练阶段对词汇、训练实例的顺序和目标任务进行合理选择可以达到一定的改进效果。
Nov, 2023
本研究探讨了使用语言学课程学习法对语言模型预训练的效果,并且在 GLUE 基准测试中评估了转移性能,结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。
Aug, 2021