Jul, 2017

神经机器翻译中的课程学习和小批量桶处理

PDF
TL;DR本文探讨了句子对顺序对神经机器翻译（NMT）在线训练的影响，其中主要关注两种顺序类型，即确保每个小批次中包含在某些方面类似的句子和逐步包含某些句子类型，随着训练的进行，即所谓的 “课程学习”。在英语到捷克语的实验中，小批量的内部同质性对训练没有影响，但我们的 “课程” 有一点改进。
发现论文，激发创造
  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 神经机器翻译中课程学习的实证探索

    采用概率课程学习方法，可以在不损失翻译质量的前提下，缩短德语 - 英语翻译模型的收敛时间，但具体效果受到样本难度标准、课程表和超参数的影响。

    Nov, 2018

  • 基于强化学习的神经机器翻译课程优化

    本研究运用强化学习方法，实现神经机器翻译中异质训练数据的有效生成和利用，提出课程学习框架，相比于传统方法，该方法展现出更好的表现和更强的数据泛化能力。

    Feb, 2019

  • 基于能力的神经机器翻译课程学习

    本文提出了一种基于课程学习的神经机器翻译框架，通过对训练样本进行过滤，提高模型训练效率和性能。该方法不仅可以减少训练时间和需要调整的超参数数量，还可以防止模型陷入局部最优解，从而获得更好的性能表现。实验结果表明，该方法可以在保证翻译质量的同时减少训练时间达 70%。

    Mar, 2019

  • 预训练神经机器翻译模型的强化课程学习

    本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架，通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明，所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量，并大幅优于其他强基线方法。

    Apr, 2020

  • 神经机器翻译中小批量创建策略的实证研究

    使用小批量进行神经机器翻译模型的训练，通过基于句子长度排序以及简单洗牌的方法来减少必须进行的信息填充，以提高处理速度和提高翻译的质量。

    Jun, 2017

  • 基于范数的课程式学习在神经机器翻译中的应用

    本文介绍了一种新的基于范数（即长度或模块）的课程学习方法，利用词嵌入的范数作为句子难度、模型能力和句子权重的度量，以提高神经机器翻译（NMT）的训练效率，并在 WMT'14 英德和 WMT'17 中英翻译任务中证明其优越性。

    Jun, 2020

  • 神经机器翻译的自适应学习

    本研究提出自适应学习方法来改进神经机器翻译 (NMT) 训练过程，允许 NMT 模型自动评估对训练示例的学习自信度并通过调节每次迭代的损失来灵活地控制学习，实验证明该方法在提高翻译质量和加速收敛速度方面优于强基线和人工设计课程训练的模型。

    Oct, 2020

  • 训练样本的顺序重要吗？使用课程学习改进神经数据转文本生成

    本文研究从结构化数据和文本对中选择训练样本以优化 CURRICULUM LEARNING，并提出了一种软编辑距离度量方法，实验表明，该方法能够提高训练速度和性能。

    Feb, 2021

  • 利用课程学习提升无监督神经机器翻译的性能

    通过提出一种课程学习方法，将从多个粒度发现语料库中的质量，逐渐利用从易到难的数据，通过平衡不同部分的质量得分，推动模型关注更高质量的数据，从而显著提高无监督神经机器翻译的翻译性能.

    Sep, 2021