多语言机器翻译：缩小共享编码器 - 解码器和语言特定编码器 - 解码器之间的差距

Apr, 2020

多语言机器翻译：缩小共享编码器 - 解码器和语言特定编码器 - 解码器之间的差距

Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders

Carlos Escolano, Marta R. Costa-jussà, José A. R. Fonollosa, Mikel Artetxe

TL;DR本文提出了一种针对多语言机器翻译的替代方法，该方法基于特定于语言的编码器 - 解码器，可以更轻松地通过学习相应的模块来扩展到新语言。同时训练初始语言以促进通用 interlingua 表示，实验表明该方法平均优于通用编码器 - 解码器 3.28 BLEU 点，当添加新语言时，无需重新训练其余模块，因此推进了可灵活扩展的模块化多语机器翻译系统的发展。

Abstract

State-of-the-art multilingual machine translation relies on a universal encoder-decoder, which requires retraining the entire system to add new languages. In this paper, we propose an alternative approach that is

multilingual machine translation encoder-decoder language-specific interlingua representation lifelong learning

发现论文，激发创造

基于通用编解码器的多语言神经机器翻译探索

本研究介绍了一种使用统一方法构建多语言神经机器翻译框架的方法，不需要对网络架构进行特殊处理，能在标准训练方式下学习最少数量的自由参数，在资源匮乏的翻译场景中表现出显著的效果，同时在源语言和目标语言之间没有直接平行语料库的翻译任务中也具有有趣和有前途的结果。

Nov, 2016

基于语言特定编码器解码器的零样本神经机器翻译改进

本文介绍了一种利用语言特定的编码器 - 解码器完成零样本翻译的方法。通过区分语言特定的 Transformer 层和公共层，应用交叉注意力和参数共享等技术，最大化句子的普适性，以实现最佳的语义对齐，此外结合了自编码目标来实现多任务的联合训练。在两个公共的多语言平行数据集上进行实验，它们的结果具有竞争力，而且相当于从头开始联合训练模型时的结果，还表现出增量学习的能力。

Feb, 2021

利用特定语言的编码器和解码器实现零 - shot 多语言口语翻译

我们提出的多语言语音翻译方法可以不依赖 MultiSLT 数据集，仅基于 ASR 和 MultiNMT 数据进行训练，通过将语音编码器与 MultiNMT 架构耦合可以在零 - shot 场景下实现类似双语翻译的效果，在我们实验的四种不同语言中，通过使用适配器模块可以在提议的架构上实现 + 6 BLEU 点的一致改进和 + 1 BLEU 点的端到端基线改进。

Nov, 2020

多语言机器翻译解析

本研究研究多语言机器翻译的训练，并发现多语言训练对 encoder 有益，而仅对低资源语言的 decoder 有益，提出了方法来改善性能。

Oct, 2021

学习语言不变表示以实现通用机器翻译

本论文的研究目标是证明通用机器翻译算法的理论限制并提出更好的算法设计。研究发现在缺乏数据结构假设的情况下，任何算法都将在至少一个翻译任务上产生较大的翻译误差。此外，文档语料库采用编码器 - 解码器生成过程可用来实现 “泛化” 的自然概念，并且图像语言对之间的连接路径越长，需要的语言对数量也就越多。

Aug, 2020

零對應跨模態轉換的模塊化語音轉文本翻譯

通过独立训练的编码器和解码器，通过共享的固定大小表示组合，可以在语音到文本翻译中取得竞争力的性能，本研究表明这种方法可以通过多语种训练进一步改进，我们观察到在零 - shot 跨模态语音翻译中显著提高，甚至在几种语言上胜过基于 XLSR 的有监督方法。

Oct, 2023

软分离编码的多语言神经机器翻译

本研究提出了一种名为 SDE 的多语言词典编码框架，通过字符编码和语义嵌入空间的共享来实现智能共享词汇级别信息，从而实现在低资源语言中神经机器翻译系统的多语言训练。在标准数据集上的实验表明，与强大的多语言神经机器翻译基线相比，本方法在四种低资源语言中表现出一贯的提高，并在其中一种测试语言上获得了 2 BLEU 的增益，并在所有四种语言对中实现了新的最优状态。

Feb, 2019

极低资源语言通用神经机器翻译

本文介绍了一种针对数据有限的语言的新的通用机器翻译方法，利用迁移学习的方法，在多源语言之间共享词汇和句子级别的表示，从而帮助低资源的语言利用高资源语言的词汇和句子表示，在罗马尼亚语 - 英语 WMT2016 上，我们的方法在 6k 的平行语料库上能够获得 23 BLEU 分数，远高于使用多语言训练和反向翻译的强基线系统的 18 BLEU 分数，此外，我们还展示了该方法可以在零样本条件下对同一数据集进行微调，达到接近 20 BLEU 的分数。

Feb, 2018

神经机器翻译中编码器 - 解码器是否冗余？

本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

Oct, 2022

语言模型是优秀的翻译器

该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

Jun, 2021