AAAIMay, 2017

搜索引擎引导的非参数神经机器翻译

PDF
TL;DR本研究提出了一种基于注意力机制的神经机器翻译（NMT）模型，并允许它在训练后访问整个平行句子对训练集。该模型由两个阶段组成：检索阶段和翻译阶段，实现了在源句子和一组检索的平行句子对之间的平滑翻译。在三种语言（En-Fr，En-De 和 En-Es）上的实证评估表明，该方法显著优于基准方法，并且当检索到更相关的平行句子对时，改进效果更为显著。
neural machine translationtraining setretrieval stagetranslation modeltranslation memory
发现论文，激发创造
  • 利用检索到的翻译片段指导神经机器翻译

    通过搜索引擎检索以前见过的语句，然后提取这些语句中与源语句匹配的 $n$-grams 以实现将历史翻译例子加入到神经机器翻译模型中，因此提高翻译效果。

    Apr, 2018

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 基于单语翻译记忆的神经机器翻译

    本研究提出了一种新的框架，使用单语记忆并以跨语言方式进行可学习的记忆检索，以增强神经机器翻译性能，并展示其在较低资源和领域适应情况下的有效性。

    May, 2021

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 无监督统计机器翻译

    本文提出了一种基于 SMT 的新颖方法，通过跨语言嵌入映射从单语料库中诱导短语表，再将其与 N-gram 语言模型相结合，通过无监督超参数微调的变体来实现迭代反向翻译，并在 WMT 2014 中实现了超过 7-10 BLEU 点的改进，与监督 SMT 相比关闭了 2-5 BLEU 点的差距。

    Sep, 2018

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • 神经机器翻译的非参数适应

    本文提出了一种半参数神经机器翻译方法，采用 n-gram 级别的检索方法和表现出色的非参数特性，针对神经网络在训练过程中的参数漂移而提出的而提高网络的鲁棒性的问题，在四种测试数据集上取得了优异的表现，进一步打开了使用非参数方法进行领域自适应的大门。

    Feb, 2019

  • 利用基于短语的模型在混合搜索中进行神经机器翻译

    本文介绍了一种混合搜索的关注机制神经机器翻译模型，该模型使用机器翻译模型和短语级翻译概率等特征来实现目标短语的波束搜索，结果显示与强 NMT 基准模型相比，使用短语模型搜索可以将机器翻译质量提高达到 2.3% 的 BLEU 绝对值的效果。

    Aug, 2017