Jul, 2017

基于语言学的土耳其语到英语神经机器翻译词汇量缩减

PDF
TL;DR本文提出了一种新的神经机器翻译方法，可以考虑语言的词形属性，基于无监督的形态学习在任何速率下减少给定输入语料库的词汇量，并在土耳其语 - 英语 NMT 任务中通过比较生成输出的语义和句法特性来验证方法的效果，与传统词汇量缩减技术相比，显著提高了 2.3 BLEU 分数，表现更好。
neural machine translationvocabulary reductionmorphologically rich languagesunsupervised morphology learningturkish-to-english nmt
发现论文，激发创造
  • 神经机器翻译上的聚合语言词形分割

    本研究提出了一种基于形态学的单词分割方法，能够在训练时缩小词汇表的同时保留词结构中的语言和语义信息，以协助神经机器翻译，实验结果表明此方法能显著提高土耳其 - 英语和维吾尔 - 中文机器翻译任务的性能，降低数据稀疏性和语言复杂性。

    Jan, 2020

  • 面向开放词汇神经机器翻译的隐变形模型

    本文提出了一种通过分层潜在变量模拟词态变化过程的方法，通过组合两个潜在表示（一个连续的表示和一组（近似）离散特征），逐个字符生成单词，从而使神经机器翻译在三种形态丰富的语言中的精度和资源利用率得到了提高。

    Oct, 2019

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 神经机器翻译中形态丰富输入的组合表示

    本文提出用双向循环神经网络替代 NMT 源语言嵌入层，在任何所需的粒度水平上生成组合表示，从而解决基于统计的分词方法中可能导致的形态错误，实现了从字符 N-gram 组成词表示的 NMT 训练方法的一致逆袭。

    May, 2018

  • 论字符级神经机器翻译中词边界的重要性

    本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。

    Oct, 2019

  • 采用子单元的神经机器翻译生僻词

    本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。

    Aug, 2015

  • 神经机器翻译中适用于形态丰富语言的词表示模型

    本文提出了使用字符和形态级别单词分解学习单词表示的若干结构，并将这些表示法纳入一种新颖的机器翻译模型中，通过一个硬注意力机制联合学习单词对齐和翻译，从而提高 morphologically rich languages 翻译成英语的机器翻译的性能，相对强基线模型提高了 1 到 1.5 个 BLEU 分数。

    Jun, 2016

  • 通过词汇修剪实现高效的多语言语言模型压缩

    本文提出了一种叫做词汇修剪的方法，可将多语言语言模型压缩至任何语言，得到与原始模型同样的性能，同时比原始模型更小。我们在七种语言中评估了该方法，并表明该方法可以将最佳的单语言模型性能与多语言模型的优越性结合起来。

    May, 2023

  • 基于字符的神经机器翻译

    本研究旨在解决神经机器翻译应用于大词汇量和形态丰富语言的挑战，通过使用基于字符的嵌入法，结合卷积层和高速公路网络来替代传统的基于词的表示法，并测试其在注意力机制双向递归神经网络中的应用，结果表明该方法即使在源语言不富含形态学的情况下也能够在德英 WMT 任务中取得高达 3 个 BLEU 分的改进效果。

    Mar, 2016