Jun, 2017

神经机器翻译中小批量创建策略的实证研究

PDF
TL;DR使用小批量进行神经机器翻译模型的训练，通过基于句子长度排序以及简单洗牌的方法来减少必须进行的信息填充，以提高处理速度和提高翻译的质量。
neural machine translationmini-batch trainingsentence lengthprocessing speednmt training
发现论文，激发创造
  • 神经机器翻译中的课程学习和小批量桶处理

    本文探讨了句子对顺序对神经机器翻译（NMT）在线训练的影响，其中主要关注两种顺序类型，即确保每个小批次中包含在某些方面类似的句子和逐步包含某些句子类型，随着训练的进行，即所谓的 “课程学习”。在英语到捷克语的实验中，小批量的内部同质性对训练没有影响，但我们的 “课程” 有一点改进。

    Jul, 2017

  • 小批量大小提高低资源神经机器翻译训练

    本研究证明在低资源训练中，相比于 GPU 内存允许的大批量训练，小批量训练在较短时间内可以得到更高的分数，并说这是由于在训练过程中梯度更好的正则化所导致的。

    Mar, 2022

  • 快速训练带有数据排序的 NMT 模型

    提出了一种基于长度排序的算法，用于降低 Transformer 模型计算空标记的计算负担，以提高机器翻译的计算速度和性能。

    Aug, 2023

  • 神经机器翻译的数据排序模式：实证研究

    本文通过实证研究不同训练数据排序方法对神经机器翻译模型性能的影响，结果表明基于预训练模型的困惑度得分对训练数据进行预排序的方法表现最佳，在每轮训练中优于默认方法随机洗牌训练数据。

    Sep, 2019

  • 用动态句子采样提高神经机器翻译的训练效率

    该研究提出了一种基于动态采样的神经机器翻译（NMT）训练方法，通过对句子加权并根据权重动态采样一定百分比的句子，以提高 NMT 训练效率和性能。

    May, 2018

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 神经机器翻译输出长度控制

    本文首次解决了神经机器翻译中输出长度的控制问题，并调查了两种解决方法，分别是将输出与目标输入长度比例类相关联和在 Transformer 位置嵌入中加入长度信息。实验结果表明，这两种方法都可以使网络生成更短的翻译，并获得解释性的语言技能。

    Oct, 2019

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 纠正神经机器翻译中的长度偏差

    本文研究神经机器翻译中的两个问题：beam search 算法不适用于 NMT 问题，翻译结果过短。作者认为这些问题因标签偏置而产生，提出了一种通过感知机算法对一个简单的逐字奖励进行调整的解决方案来解决这一问题。

    Aug, 2018

  • 神经机器翻译一句话一模型

    本篇论文提出了动态神经机器翻译 (Dynamic NMT) 的方法，通过对测试句子进行微调以适应具体场景，从而显着提高翻译性能。该方法特别适用于高度相似的句子。

    Sep, 2016