ACLFeb, 2021

训练样本的顺序重要吗？使用课程学习改进神经数据转文本生成

PDF
TL;DR本文研究从结构化数据和文本对中选择训练样本以优化 CURRICULUM LEARNING，并提出了一种软编辑距离度量方法，实验表明，该方法能够提高训练速度和性能。
data-to-text generationneural end-to-end systemscurriculum learningstructured datasoft edit distance metric
发现论文，激发创造
  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019

  • 自然语言生成中基于序列完成的样本课程学习

    本文提出了一种在样本中学习的课程学习策略，通过从生成最后几个单词到整个输出序列，逐渐提高模型难度，推广应用于不同任务并取得了显著性能提升。

    Nov, 2022

  • 端到端自动语音识别新课程标准的比较与分析

    本篇论文探讨了如何通过 Curriculum Learning 使用有组织的训练数据，以提高机器学习模型的性能，并在语音识别领域证明了这一方法的有效性。

    Aug, 2022

  • 战略数据排序：通过课程学习提升大型语言模型性能

    通过课程学习的数据中心培训策略，根据数据的不同指标进行排序可以提高大型语言模型的性能，而无需增加模型大小或数据集容量，从而解决大型语言模型培训中的可扩展性挑战。

    May, 2024

  • 深度网络训练中课程学习的威力

    本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

    Apr, 2019

  • 预训练神经机器翻译模型的强化课程学习

    本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架，通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明，所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量，并大幅优于其他强基线方法。

    Apr, 2020

  • 信息检索的课程学习策略：一个基于对话响应排序的实证研究

    本文探讨了在神经检索模型训练中，如何通过对训练数据进行智能排序（即通过实行课程学习）来提高检索效率。作者利用大规模数据和会话响应排序任务，研究了如何确定难度以及如何过渡到更难的实例，取得了 2％的性能改进。

    Dec, 2019

  • 神经机器翻译中的课程学习和小批量桶处理

    本文探讨了句子对顺序对神经机器翻译（NMT）在线训练的影响，其中主要关注两种顺序类型，即确保每个小批次中包含在某些方面类似的句子和逐步包含某些句子类型，随着训练的进行，即所谓的 “课程学习”。在英语到捷克语的实验中，小批量的内部同质性对训练没有影响，但我们的 “课程” 有一点改进。

    Jul, 2017