Jul, 2016

主题感知神经机器翻译引导对齐训练

PDF
TL;DR本文提出了一种有效的方法来偏置序列到序列神经机器翻译模型（NMT）的注意机制，使其趋向于研究过的词对齐模型。我们展示了我们的新型引导对齐训练方法如何在真实生活的电商文本翻译中提高了翻译质量，克服了许多未知单词和大型类型 / 令牌比。我们还表明，与输入文本相关的元数据（例如主题或类别信息）作为网络解码器部分的附加信号可显着提高翻译质量。有了这两个新功能，NMT 系统在一个产品标题集上的 BLEU 分数从 18.6 提高到 21.3％。通过将通用领域 NMT 系统进行领域适应也可获得更大的机器翻译质量提升。这个开发的 NMT 系统在 IWSLT 语音翻译任务中也表现良好，其中四个变体系统的集合比基线的基于短语的系统的 BLEU 分数提高了 2.1％。
发现论文，激发创造
  • 使用 Transformer 模型联合学习对齐和翻译

    本文介绍了一种用 Transformer 模型进行机器翻译和单词对齐的方法，实现了较高的翻译与对齐准确率，同时在多项测试中优于之前的 Transformer 模型单词对齐方法。

    Sep, 2019

  • 神经机器翻译的监督注意力

    本文提出利用训练句子对齐来提高神经机器翻译的关注或对齐准确性，通过将机器关注与 “真实” 对齐之间的距离计算，并在训练过程中最小化此代价，我们的实验证明，相对于大型词汇神经机器翻译系统，我们的模型显著提高了翻译和对齐质量，超越了最先进的传统基于语法的系统。

    Jul, 2016

  • 多头注意力机制下的神经机器翻译中的对齐问题

    本研究旨在调查基于 Transformer 架构的多头注意力模型中的对齐问题，并证明了通过增加一个额外的对齐头可以提高 Transformer 模型的对齐抽取。通过字典引导翻译任务的模拟，我们使用所提出的方法，在与基准情况相比，使用字典时 BLEU 分数提高了 3.8％，而基准情况下提高了 2.4％的 BLEU 分数。我们还提出了对齐剪枝来加速解码，从而在保持翻译性能不变的情况下，将翻译加速了 1.8 倍。

    Sep, 2018

  • 搜索引擎引导的非参数神经机器翻译

    本研究提出了一种基于注意力机制的神经机器翻译（NMT）模型，并允许它在训练后访问整个平行句子对训练集。该模型由两个阶段组成：检索阶段和翻译阶段，实现了在源句子和一组检索的平行句子对之间的平滑翻译。在三种语言（En-Fr，En-De 和 En-Es）上的实证评估表明，该方法显著优于基准方法，并且当检索到更相关的平行句子对时，改进效果更为显著。

    May, 2017

  • 利用基于短语的模型在混合搜索中进行神经机器翻译

    本文介绍了一种混合搜索的关注机制神经机器翻译模型，该模型使用机器翻译模型和短语级翻译概率等特征来实现目标短语的波束搜索，结果显示与强 NMT 基准模型相比，使用短语模型搜索可以将机器翻译质量提高达到 2.3% 的 BLEU 绝对值的效果。

    Aug, 2017

  • 基于显著性的神经机器翻译词对齐解释

    本文探讨了神经机器翻译模型在实现翻译时，虽然目标是学习对齐和翻译，但其对齐质量难以解释。作者提出了一种模型无关的解释方法，能够提高对齐质量。

    Jun, 2019

  • 带有受监督注意力的神经机器翻译

    本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。

    Sep, 2016

  • 对比对齐何时提高多对多神经机器翻译的效果？

    在许多对多神经机器翻译中，使用单词级对比目标来利用单词对齐具有 0.8 BLEU 提升，并发现编码器的句子检索性能与翻译质量高度相关，这解释了所提出方法的影响所在，从而为未来的深入研究提出了动机。

    Apr, 2022

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017