EMNLPSep, 2019

使用 Transformer 模型联合学习对齐和翻译

PDF
TL;DR本文介绍了一种用 Transformer 模型进行机器翻译和单词对齐的方法，实现了较高的翻译与对齐准确率，同时在多项测试中优于之前的 Transformer 模型单词对齐方法。
machine translationneural approachesword alignmenttransformer modelmulti-task framework
发现论文，激发创造
  • 端到端神经单词对齐优于 GIZA++

    本文提出了第一个端到端的神经单词对齐方法，将一个训练有素的 Transformer 模型重新用于无监督的单词对齐模型，与已有的最佳的单词对齐工具 GIZA++ 相比，其在三个数据集中表现更加优异。

    Apr, 2020

  • 给神经机器翻译模型添加可解释的注意力机制改善了单词对齐

    提出一种基于 Transformer 架构的简单模型扩展，利用其隐藏表示，仅限于对编码器信息进行注意以预测下一个单词，进一步介绍了一种新的对齐推断过程，直接将目标词的注意力激活率优化为对齐结果，这种对齐方法在两个公开数据集上明显优于 naive 方法，并且与 Giza++ 相当。

    Jan, 2019

  • 多头注意力机制下的神经机器翻译中的对齐问题

    本研究旨在调查基于 Transformer 架构的多头注意力模型中的对齐问题，并证明了通过增加一个额外的对齐头可以提高 Transformer 模型的对齐抽取。通过字典引导翻译任务的模拟，我们使用所提出的方法，在与基准情况相比，使用字典时 BLEU 分数提高了 3.8％，而基准情况下提高了 2.4％的 BLEU 分数。我们还提出了对齐剪枝来加速解码，从而在保持翻译性能不变的情况下，将翻译加速了 1.8 倍。

    Sep, 2018

  • 深度学习时代的单词对齐：教程

    本文探讨了在机器翻译中，句子间词语对齐的重要性以及其在传统统计机器翻译和目前神经机器翻译中的作用，并着重介绍了一种基于语料库的无监督统计词语对齐工具 GIZA++ 以及该领域的研究进展。

    Nov, 2022

  • 主题感知神经机器翻译引导对齐训练

    本文提出了一种有效的方法来偏置序列到序列神经机器翻译模型（NMT）的注意机制，使其趋向于研究过的词对齐模型。我们展示了我们的新型引导对齐训练方法如何在真实生活的电商文本翻译中提高了翻译质量，克服了许多未知单词和大型类型 / 令牌比。我们还表明，与输入文本相关的元数据（例如主题或类别信息）作为网络解码器部分的附加信号可显着提高翻译质量。有了这两个新功能，NMT 系统在一个产品标题集上的 BLEU 分数从 18.6 提高到 21.3％。通过将通用领域 NMT 系统进行领域适应也可获得更大的机器翻译质量提升。这个开发的 NMT 系统在 IWSLT 语音翻译任务中也表现良好，其中四个变体系统的集合比基线的基于短语的系统的 BLEU 分数提高了 2.1％。

    Jul, 2016

  • 基于显著性的神经机器翻译词对齐解释

    本文探讨了神经机器翻译模型在实现翻译时，虽然目标是学习对齐和翻译，但其对齐质量难以解释。作者提出了一种模型无关的解释方法，能够提高对齐质量。

    Jun, 2019

  • 联合学习对齐和翻译的神经机器翻译

    本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈，并提出一种基于（软）搜索方式的新方法，在英法翻译任务中获得了与基于短语的模型相当的翻译性能，且（软）对齐结果与人类直觉相符。

    Sep, 2014

  • 神经机器翻译的监督注意力

    本文提出利用训练句子对齐来提高神经机器翻译的关注或对齐准确性，通过将机器关注与 “真实” 对齐之间的距离计算，并在训练过程中最小化此代价，我们的实验证明，相对于大型词汇神经机器翻译系统，我们的模型显著提高了翻译和对齐质量，超越了最先进的传统基于语法的系统。

    Jul, 2016

  • 从神经机器翻译中准确导出词语对齐

    该论文指出 Transformer 的注意力机制可以捕捉到准确的单词对齐，并提出了两种新的词语对齐感应方法 Shift-Att 和 Shift-AET，在三个公开数据集上的实验表明，两种方法都优于它们对应的神经基线，Shift-AET 比 GIZA ++ 高 1.4-4.8 AER 点。

    Apr, 2020

  • 一种用于跨语言词对齐的判别式神经模型

    利用新型鉴别性词汇对齐模型，结合变压器机器翻译模型，在少量标注例子下评估英汉及英阿拉伯语言对齐，相比无监督基线模型性能得到提升（11-27 F1）。外部方面，通过对中文命名实体识别（NER）标签的投影，我们验证了对齐模型的有效性。最后，进行消融分析和注释实验，支持未来手动对齐的使用可行性和实用性。

    Sep, 2019