零样本双向机器翻译
该研究提出一种简单的解决方案,使用单个神经机器翻译模型在多种语言之间进行翻译,并且通过在输入句子的开头引入人工标记来指定所需的目标语言,这种方法不需要更改模型框架,该模型的剩余组件包括编码器、解码器和注意力是不变的,并共享所有语言。我们的方法使用共享的词块词汇表,不需要增加任何参数,在保持模型参数总数恒定的情况下,还经常提高所有涉及的语言对的翻译质量,甚至可以在训练期间从未看到的语言对之间进行隐式桥接,因此,我们的翻译模型不限于训练时的语言对,具有一定的通用性和迁移能力。
Nov, 2016
本文研究了神经机器翻译在多语言翻译和零样本推理上的性能,比较了双语、多语和零样本系统的翻译质量,并调查了循环神经网络和Transformer等两种神经网络模型的翻译质量。研究表明,多语言神经机器翻译能够在多个语言之间共享表示空间,实现有效的跨语言学习。
Jun, 2018
本文提出一种简单的迭代训练过程,利用系统直接生成的翻译对零-shot方向进行翻译,以及原始并行数据,来重新训练多语言网络,有效提高了多语言模型的BLEU分数,并且在非零-shot语言方向上的性能也略有提升。
Nov, 2018
本文研究了多语言神经机器翻译模型的零样本翻译问题,提出了基于辅助损失的方法,并在WMT14英语-法语/德语上实现了与基于中介语的模型相媲美的零样本翻译效果,同时在IWSLT 2017共享任务中验证了该方法的易于扩展性。
Mar, 2019
通过将多语言翻译问题重新构造为概率推理,定义了零-shot一致性的概念;引入了一种基于一致性约束的训练方法,鼓励模型在辅助语言中生成等效的平行句子翻译,最终我们测试了多种公共的零-shot翻译基准数据集,并证明基于一致性约束训练的NMT模型通常会在无监督翻译任务上取得2-3 BLEU的提高,而在监督翻译任务上的性能不会降低。
Apr, 2019
通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零-shot 机器翻译,此方法可使系统在IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。
Jun, 2019
本文研究了多语言NMT模型的解码器参数的完全或部分共享的几种方法,在仅使用WMT2019共享任务并行数据集进行训练的110个独特翻译方向上评估了完全监督和零样本翻译性能。通过使用其他测试集并重新利用最近用于无监督MT的评估方法来评估在没有黄金标准平行数据的语言对的零样本翻译性能。我们进行了不同模型翻译性能的深入评估,突出了解码器参数共享方法之间的权衡取舍。我们发现,在具有任务特定解码器参数的模型中,优于在所有任务上完全共享解码器参数的模型。
Jun, 2019
本文探讨了如何改善大规模多语言神经机器翻译模型的性能,并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对,同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明,本方法在一对多和多对多设置中缩小了双语模型的性能差距,并将零-shot表现提高约10 BLEU,接近传统的基于中间语言的方法。
Apr, 2020
本文介绍了一种利用语言特定的编码器-解码器完成零样本翻译的方法。通过区分语言特定的Transformer层和公共层,应用交叉注意力和参数共享等技术,最大化句子的普适性,以实现最佳的语义对齐,此外结合了自编码目标来实现多任务的联合训练。在两个公共的多语言平行数据集上进行实验,它们的结果具有竞争力,而且相当于从头开始联合训练模型时的结果,还表现出增量学习的能力。
Feb, 2021
该研究利用深度学习方法,将自然语言翻译应用于零式翻译,提出使用去噪自编码器和支点语言改进零式翻译的传统训练目标,以提高翻译准确性,并在两个基准机器翻译数据集上取得了优异的表现。
Sep, 2021