多语言神经机器翻译中的迁移学习和动态词汇
该研究提出一种简单的解决方案,使用单个神经机器翻译模型在多种语言之间进行翻译,并且通过在输入句子的开头引入人工标记来指定所需的目标语言,这种方法不需要更改模型框架,该模型的剩余组件包括编码器、解码器和注意力是不变的,并共享所有语言。我们的方法使用共享的词块词汇表,不需要增加任何参数,在保持模型参数总数恒定的情况下,还经常提高所有涉及的语言对的翻译质量,甚至可以在训练期间从未看到的语言对之间进行隐式桥接,因此,我们的翻译模型不限于训练时的语言对,具有一定的通用性和迁移能力。
Nov, 2016
本文研究了神经机器翻译在多语言翻译和零样本推理上的性能,比较了双语、多语和零样本系统的翻译质量,并调查了循环神经网络和Transformer等两种神经网络模型的翻译质量。研究表明,多语言神经机器翻译能够在多个语言之间共享表示空间,实现有效的跨语言学习。
Jun, 2018
本文探讨了多语种神经机器翻译的极限,通过实验培训了适用于102种语言的模型,并在59种语言上表现出了优异的翻译效果,表明大规模多语种神经机器翻译模型对低资源环境下的翻译质量有积极支持和刺激。
Feb, 2019
文章介绍了一种不需要共享词汇的方法,使用跨语言词嵌入来缓解语言间的词汇不匹配,注入人工噪声,从预训练数据轻松生成合成数据,并在五种低资源翻译任务中将纯NMT转移提高了+5.1% BLEU,优于多语言联合训练。
May, 2019
我们致力于构建一款通用的神经机器翻译系统,通过构建一个单一的大规模多语言NMT模型,实现了103种语言之间的翻译,带有有效的迁移学习能力,显着提高了低资源语言的翻译质量,同时保持高资源语言翻译质量与竞争双语基线相当,为实现通用NMT模型的质量和实用性提供了多个方面的模型构建分析,并指出未来研究的方向和需进一步解决的问题。
Jul, 2019
本文评估了一个大规模多语言神经机器翻译模型编码器在五个跨语言分类和序列标记任务中的跨语言效果,并展示了零-shot转移学习中在四个任务中的增益。
Sep, 2019
本研究使用Singular Value Canonical Correlation Analysis(SVCCA)分析了包含103种语言的NMT模型,发现不同语言的编码器表示会基于语言相似性聚集,源语言和目标语言的表示相互依赖,并且高资源和/或语言相似性更强的语言在任意语言对上进行微调时更为稳健,这些结论对于跨语言转移学习非常重要,并进一步联系到现有的实证观察。
Sep, 2019
本篇论文介绍了如何使用多语言神经机器翻译(multilingual NMT)解决低资源语种翻译问题,提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明,多语言NMT优于传统的双语NMT,Transformer模型优于循环神经网络模型,零样本NMT优于传统的基于中间语的翻译方法,甚至与完全训练的双语系统相当。
Sep, 2019
本文旨在介绍多语言神经网络机器翻译(MNMT)的概述,重点关注其经验转移的传输学习方法,对相关研究领域、建模原理和挑战进行了细致分类,讨论了不同技术的优劣,并探讨了未来的研究方向。
Jan, 2020
通过研究 NMT 模型训练过程中的能力表现,发现其在学习目标语言模型、逐词翻译和复杂重排序模式方面的能力表现与传统的 SMT 模型有明显差异,并探讨了这种理解对于优化 NMT 模型的实际应用。
Sep, 2021