Mar, 2024

英爱转换器式 NMT 的人工评估

PDF
TL;DR该研究评估了超参数设置对基于 Transformer 的神经机器翻译在英语 - 爱尔兰语低资源对中的质量的影响。研究中使用了基于 Byte Pair Encoding (BPE) 和 unigram 方法的 SentencePiece 模型。通过修改层数、评估注意力机制中最佳头数、使用不同的正则化技术等变体，发现使用 16k BPE 子词模型优化的 Transformer 模型表现最佳，相较于基线递归神经网络（RNN）模型，BLEU 分数提高了 7.8 个点，与 Google 翻译相比，该翻译引擎实现了显著提升。此外，还通过定量细粒度手动评估，比较了机器翻译系统的表现。使用多维质量度量中的错误分类法（MQM error taxonomy），探讨了基于 RNN 模型和 Transformer 模型生成的错误类型的人类评估。结果表明，表现最佳的 Transformer 系统在准确性和流畅性错误方面与基于 RNN 的模型相比均有显著降低。
发现论文，激发创造
  • 增强低资源语言的神经机器翻译：语料库开发、人工评估和可解释 AI 架构

    该研究旨在研究机器翻译中 Transformer 模型在低资源语言对（英爱尔兰语和英马拉地语）中的效果，并通过优化超参数和子词模型类型来显著提高低资源语言对的翻译质量。此外，还引入了 adaptNMT 和 adaptMLLM 两个开源应用程序，简化了神经机器翻译模型的开发、微调和部署过程，使其更容易被开发人员和翻译人员使用。

    Mar, 2024

  • 低资源语言的变压器：Is Féidir Linn!

    通过超参数优化，选择适当的参数并进行子词模型的正确选择，能够在英语 - 爱尔兰语低资源语言对的翻译中实现显著的性能提升，并改善了 Google 翻译的基准性能。

    Mar, 2024

  • 基于 Transformer 的印地语到英语神经机器翻译

    我们使用深度学习技术开发了一种神经机器翻译系统，通过训练 Transformer 模型将印度语 Hindi 翻译成英语，通过实施回译增强训练数据并尝试使用 Byte Pair Encoding (BPE) 进行词汇划分，我们在 10 个不同的配置中训练 Transformer，在 IIT Bombay 英印语语料库的测试集中取得了 24.53 的最新 BLEU 分数。

    Sep, 2023

  • 基于字符的 Transformer 神经机器翻译

    本文研究了字符级别的翻译和基于 Transformer 架构的输入与输出之间的影响，并通过对 EN-DE 的实验发现字符级别 Transformer 模型比其 BPE 模型更具鲁棒性。为了在干净、领域特定的数据中获得可比的 BLEU 分数并缩小与基于 BPE 的模型之间的差距，我们采用已知的技术训练更深层的 Transformer 模型。

    Nov, 2019

  • 双语专家” 能够找出翻译错误

    提出了一种基于双向 Transformer 和双向 LSTM 预测模型的机器翻译自动评估框架，能够对 WMT 的翻译结果进行质量评估，并在 WMT 2017/2018 的质量评估任务中取得了最好的性能表现。

    Jul, 2018

  • 基于字符级 Transformer 的神经机器翻译

    本文针对机器翻译中常用的子词级神经网络模型提出了基于字符级翻译的 Transformer 模型，实验证明所提出的模型在训练效率和翻译质量方面是优于先前的字符级模型且与子词级模型相当的，代码和模型已经公开发布。

    May, 2020

  • 神经机器翻译中目标侧词形变化建模

    本文提出了一个简单的方法来解决 NMT 系统处理大词汇量时的问题，该方法是训练系统生成单词的词元和丰富的词性标记，然后进行确定性生成步骤，应用于英语 - 捷克语和英语 - 德语翻译方案中，获得了改进。

    Jul, 2017

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018

  • Byte Pair Encoding 不适用于语言模型预训练

    分析使用不同词汇分割方法，如 BPE 和 unigram 在提前训练 Transformer 语言模型时对其细微的影响，并比较它们的效果，在任务绩效中发现 unigram 的方法匹配或优于 BPE，建议开发者在预训练时采用 unigram 方法。

    Apr, 2020

  • WMT 16 爱丁堡神经机器翻译系统

    我们参加了 WMT 2016 分享的新闻翻译任务，并为四种语言建立了神经翻译系统，每种语言都在英语和其它语言的两个方向上进行训练。使用了基于注意力的编码器 - 解码器、BPE 子词段和自动回译等技术，我们的方法使得我们的结果比基准系统提高了 4.3-11.2 BLEU，人工评估显示我们的系统在 8 个翻译方向中有 7 个是最好的约束系统。

    Jun, 2016