基于经典 SMT 视角的 NMT 训练过程：语言建模、词汇翻译、排序

EMNLPSep, 2021

基于经典 SMT 视角的 NMT 训练过程：语言建模、词汇翻译、排序

Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT

Elena Voita, Rico Sennrich, Ivan Titov

TL;DR通过研究 NMT 模型训练过程中的能力表现，发现其在学习目标语言模型、逐词翻译和复杂重排序模式方面的能力表现与传统的 SMT 模型有明显差异，并探讨了这种理解对于优化 NMT 模型的实际应用。

Abstract

Differently from the traditional statistical MT that decomposes the translation task into distinct separately learned components, neural machine translation uses a single neural network to model the entire translation process. Despite neural machine translation being de-facto standard,

neural machine translation competences language modeling reordering patterns training

发现论文，激发创造

由统计机器翻译指导的神经机器翻译

本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

Oct, 2016

低资源语言的神经机器翻译

本文研究通过引入更多本地依赖关系和使用单词对齐来学习翻译过程中的句子重新排序，在低资源语言中使用神经机器翻译 (NMT) 模型，产生仅使用 7 万个训练数据令人满意的翻译结果。

Aug, 2017

神经网络与基于短语的机器翻译质量比较：一个案例研究

本文分析了神经网络机器翻译（NMT）与基于短语的机器翻译（PBMT）在英语 - 德语翻译数据集上的表现，从专业翻译的高质量后编辑结果中发现神经网络机器翻译在表述动词重新排序等语言现象时具有更好的建模能力，但仍有需要改进的方面。

Aug, 2016

词汇语义如何影响翻译？一项实证研究

本文研究了神经机器翻译系统在不同语言对之间的翻译表现，发现目标语言与英语越相似，翻译表现越好。另外，还探讨了在基于 Transformer 的模型中提供英语词汇的词性标记对翻译表现的影响。

Dec, 2021

神经机器翻译：综述与调查

本文追溯了现代神经机器翻译体系结构的起源，重点探讨了单个神经网络在翻译中的应用，其中涉及到 word 和 sentence embedding 以及编码器 - 解码器网络家族的早期示例，并总结了该领域的最新趋势。

Dec, 2019

神经机器翻译的预翻译

使用词汇短语转换（phrase-based machine translation）方法预处理输入，进而提升神经机器翻译（NMT）的翻译质量，在英德翻译任务中，使用该方法的性能跃升 2 个 BLEU 分数，同时分析了初始系统质量对最终结果的影响。

Oct, 2016

印度语言的统计机器翻译

本文介绍了使用 SMT 技术和 MOSES 工具包开发双语 SMT 模型，实现英语和十五种低资源印度语言之间的翻译，包括使用 BLEU，METEOR 和 RIBES 等标准指标对翻译质量进行评估。

Jan, 2023

神经系统组合机器翻译

本文介绍了一种利用多源神经机器翻译和统计机器翻译输出的神经网络系统组合框架来提高翻译效果的方法，在中英翻译任务中实现了比传统系统组合方法更高的 BLEU 值。

Apr, 2017

无监督神经机器翻译中使用 SMT 作为后验正则化

本论文提出了一种将基于短语的统计机器翻译模型作为后验正则化引入到无监督神经机器翻译模型的训练过程中，以提高翻译质量的方法，并在 en-fr 和 en-de 翻译任务上进行实验，最终取得了新的最佳性能。

Jan, 2019

基于形态学建模的低资源神经机器翻译

在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

Apr, 2024