Dec, 2017

通过生成多个语言因素的神经机器翻译

PDF
TL;DR论文提出基于神经网络模型输出端单词的形态和语法分解（因子）的分步神经机器翻译（FNMT），解决了机器翻译中目标语言词汇量和未知词汇数产生的问题。在 IWSLT'15 英法任务中，FNMT 模型表现优异，达到了与基于单词和基于 BPE 的神经机器翻译系统在 BLEU 和 METEOR 等质量评估指标上相当的效果。
factored neural machine translationmorphological decompositiongrammatical decompositionvocabulary sizeunknown tokens
发现论文，激发创造
  • 分解式神经机器翻译

    本文提出了一种基于形态和语法分解的神经机器翻译方法，可以更好地处理庞大的目标语言词汇以及未登录词，实验结果显示该方法不仅可以降低 OOV 词比例，而且在模拟跨领域翻译方面也有出色表现。

    Sep, 2016

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 生成式神经机器翻译

    介绍了生成神经机器翻译（GNMT）的概念，通过添加潜在变量提高翻译模型的语义建模能力，从而实现跨语言翻译，半监督学习以及降低过拟合的效果。

    Jun, 2018

  • 基于分解神经传输器的外部语言模型集成

    本文提出一种基于外部语言模型的分解神经传输器（FNT）适应方法，通过浅层融合和基于类别的 n-gram 语言模型的集成，取得了最高 60% WERR 的新增收益。

    May, 2023

  • 来自非母语者的文本的神经机器翻译

    本研究研究神经机器翻译系统中的数据噪声问题以及如何通过增加包含人工引入的语法错误句子的训练数据来提高其对错误的鲁棒性，同时提出了一套用于测试神经机器翻译在处理语法错误上的 JFLEG 语法纠错语料库的西班牙语翻译。

    Aug, 2018

  • 神经机器翻译中形态丰富输入的组合表示

    本文提出用双向循环神经网络替代 NMT 源语言嵌入层，在任何所需的粒度水平上生成组合表示，从而解决基于统计的分词方法中可能导致的形态错误，实现了从字符 N-gram 组成词表示的 NMT 训练方法的一致逆袭。

    May, 2018

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 基于字符的神经机器翻译

    本研究旨在解决神经机器翻译应用于大词汇量和形态丰富语言的挑战，通过使用基于字符的嵌入法，结合卷积层和高速公路网络来替代传统的基于词的表示法，并测试其在注意力机制双向递归神经网络中的应用，结果表明该方法即使在源语言不富含形态学的情况下也能够在德英 WMT 任务中取得高达 3 个 BLEU 分的改进效果。

    Mar, 2016

  • 神经机器翻译中目标侧词形变化建模

    本文提出了一个简单的方法来解决 NMT 系统处理大词汇量时的问题，该方法是训练系统生成单词的词元和丰富的词性标记，然后进行确定性生成步骤，应用于英语 - 捷克语和英语 - 德语翻译方案中，获得了改进。

    Jul, 2017