May, 2016

神经机器翻译的词汇操作

PDF
TL;DR本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。
neural machine translationvocabulary sizebatch-level vocabularytranslation optionsbleu score
发现论文，激发创造
  • 神经机器翻译中使用非常大的目标词汇量

    本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

    Dec, 2014

  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016

  • 采用子单元的神经机器翻译生僻词

    本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。

    Aug, 2015

  • 祸在细节：神经机器翻译中词汇选择的陷阱

    本文提出了一种基于神经网络的词汇选择模型，通过对编码器状态的上下文化表示进行预测，来代替传统基于独立对齐模型参数的词汇选择方法，从而更好地处理语言中的词组、成语等非复合的语义现象，从而获得与传统独立对齐选择方法相同甚至更好的翻译质量，并减少了翻译时刻的依赖。

    May, 2022

  • 基于语言学的土耳其语到英语神经机器翻译词汇量缩减

    本文提出了一种新的神经机器翻译方法，可以考虑语言的词形属性，基于无监督的形态学习在任何速率下减少给定输入语料库的词汇量，并在土耳其语 - 英语 NMT 任务中通过比较生成输出的语义和句法特性来验证方法的效果，与传统词汇量缩减技术相比，显著提高了 2.3 BLEU 分数，表现更好。

    Jul, 2017

  • 基于注意力机制的 NMT 词汇选择

    提出一种使用 NMT 训练过程中直接从 attention layer 中学习候选列表的新方法，该方法高度优化当前 NMT 模型的候选列表，无须对候选池进行外部计算并实现了在不降低翻译质量的情况下显著提高解码速度。

    Jun, 2017

  • 多语言神经机器翻译中的迁移学习和动态词汇

    本研究提出了一种神经机器翻译（NMT）模型间的知识转移方法，通过共享动态词汇表来适应新语言，以达到提高翻译性能的目的，并在多种语言方向上进行了实验，结果表明具有良好的性能。

    Nov, 2018

  • 基于分支熵选择大词汇量的神经机器翻译模型

    本文基于分支熵的统计方法，提出一种扩展词汇表的神经机器翻译方法，使其适用于翻译专利文件等包含大量罕见技术术语的情况。通过对选定的短语进行 SMT 短语翻译表替换，达到显著的机器翻译错误减少和翻译精度提升。

    Apr, 2017

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • 论字符级神经机器翻译中词边界的重要性

    本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。

    Oct, 2019