Mar, 2019

基于能力的神经机器翻译课程学习

PDF
TL;DR本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。
发现论文，激发创造
  • 预训练神经机器翻译模型的强化课程学习

    本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架，通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明，所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量，并大幅优于其他强基线方法。

    Apr, 2020

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 基于强化学习的神经机器翻译课程优化

    本研究运用强化学习方法，实现神经机器翻译中异质训练数据的有效生成和利用，提出课程学习框架，相比于传统方法，该方法展现出更好的表现和更强的数据泛化能力。

    Feb, 2019

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 基于范数的课程式学习在神经机器翻译中的应用

    本文介绍了一种新的基于范数（即长度或模块）的课程学习方法，利用词嵌入的范数作为句子难度、模型能力和句子权重的度量，以提高神经机器翻译（NMT）的训练效率，并在 WMT'14 英德和 WMT'17 中英翻译任务中证明其优越性。

    Jun, 2020

  • 低资源神经机器翻译的动态课程学习

    本研究提出一种动态课程学习方法，通过衡量模型的收益和能力来调整训练样本的顺序，从而使训练低资源神经机器翻译模型更加高效。在 Transformer-based 系统上的实验结果表明，该方法优于几个强基线，并适用于不同大小的 low-resource 机器翻译基准。

    Nov, 2020

  • 神经机器翻译的自适应学习

    本研究提出自适应学习方法来改进神经机器翻译 (NMT) 训练过程，允许 NMT 模型自动评估对训练示例的学习自信度并通过调节每次迭代的损失来灵活地控制学习，实验证明该方法在提高翻译质量和加速收敛速度方面优于强基线和人工设计课程训练的模型。

    Oct, 2020

  • 神经机器翻译中领域自适应的课程学习

    介绍了一种课程学习方法，将通用的神经机器翻译模型适应于特定领域，实验结果表明，在两个领域和两种语言对中，该方法始终优于基准模型。

    May, 2019

  • 利用课程学习提升无监督神经机器翻译的性能

    通过提出一种课程学习方法，将从多个粒度发现语料库中的质量，逐渐利用从易到难的数据，通过平衡不同部分的质量得分，推动模型关注更高质量的数据，从而显著提高无监督神经机器翻译的翻译性能.

    Sep, 2021

  • 训练样本的顺序重要吗？使用课程学习改进神经数据转文本生成

    本文研究从结构化数据和文本对中选择训练样本以优化 CURRICULUM LEARNING，并提出了一种软编辑距离度量方法，实验表明，该方法能够提高训练速度和性能。

    Feb, 2021