ICLRJun, 2017

面向神经短语机器翻译的研究

PDF
TL;DR本文提出神经短语机器翻译模型 (NPMT)，采用基于分段的序列建模方法 (SWAN) 显式建模翻译序列中的短语结构并引入新层实现局部重新排序 (Soft)。相比于基于注意力机制的 NMT 方法，NPMT 直接以顺序方式输出短语，因此可以在线性时间内解码，实验表明与强 NMT 基准模型相比，在 IWSLT 2014 德英 / 英德和 IWSLT 2015 英越机器翻译任务上表现优越，并且 NPMT 模型的输出翻译语言有意义。
neural phrase-based machine translationsequence modelingsleep-wake networkslocal reorderinglinear time decoding
发现论文，激发创造
  • 神经网络与基于短语的机器翻译质量比较：一个案例研究

    本文分析了神经网络机器翻译（NMT）与基于短语的机器翻译（PBMT）在英语 - 德语翻译数据集上的表现，从专业翻译的高质量后编辑结果中发现神经网络机器翻译在表述动词重新排序等语言现象时具有更好的建模能力，但仍有需要改进的方面。

    Aug, 2016

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018

  • 利用基于短语的模型在混合搜索中进行神经机器翻译

    本文介绍了一种混合搜索的关注机制神经机器翻译模型，该模型使用机器翻译模型和短语级翻译概率等特征来实现目标短语的波束搜索，结果显示与强 NMT 基准模型相比，使用短语模型搜索可以将机器翻译质量提高达到 2.3% 的 BLEU 绝对值的效果。

    Aug, 2017

  • 神经机器翻译中词组翻译

    本文提出了一种方法将基于统计的短语机器翻译方法中存储的目标短语与神经机器翻译模型的编码器 - 解码器结构相结合，其中短语记忆被动态地生成，提供上下文信息，以进行短语翻译，实现了中英文翻译的显著提升。

    Aug, 2017

  • 树到序列的注意力神经机器翻译

    本文提出了一种新的端对端句法神经机器翻译模型，在源端短语结构的基础上扩展了序列到序列模型，并引入了注意力机制，可以软对齐短语和源句子中的单词，实验结果表明，相比于序列到序列的注意力 NMT 模型，该模型表现显著提升，在 WAT'15 英日翻译数据集上，与当下最优秀的树到串翻译系统相比可媲美。

    Mar, 2016

  • 神经机器翻译的预翻译

    使用词汇短语转换（phrase-based machine translation）方法预处理输入，进而提升神经机器翻译（NMT）的翻译质量，在英德翻译任务中，使用该方法的性能跃升 2 个 BLEU 分数，同时分析了初始系统质量对最终结果的影响。

    Oct, 2016

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 低资源语言的神经机器翻译

    本文研究通过引入更多本地依赖关系和使用单词对齐来学习翻译过程中的句子重新排序，在低资源语言中使用神经机器翻译 (NMT) 模型，产生仅使用 7 万个训练数据令人满意的翻译结果。

    Aug, 2017

  • 神经机器翻译的短语级主动学习

    本文拟通过选择在新领域非标记数据中的全句和短语，将其路由至人类翻译，解决神经机器翻译在领域转移方面的限制，从而在德语 - 英语翻译任务上，相比于不确定性句子选择方法，实现了一定程度的改进。

    Jun, 2021

  • 无监督统计机器翻译

    本文提出了一种基于 SMT 的新颖方法，通过跨语言嵌入映射从单语料库中诱导短语表，再将其与 N-gram 语言模型相结合，通过无监督超参数微调的变体来实现迭代反向翻译，并在 WMT 2014 中实现了超过 7-10 BLEU 点的改进，与监督 SMT 相比关闭了 2-5 BLEU 点的差距。

    Sep, 2018