UM4: 零资源神经机器翻译的统一多语教师 - 学生模型
本文提出了一种基于零资源的神经机器翻译方法,该方法假设平行句子在第三种语言中生成的可能性相近,借助于一种现有的基于枢轴语言的 NMT 模型进行指导,在没有平行语料库的情况下训练源语言到目标语言的 NMT 模型。实验结果表明,该方法在各种语言对上能够显著提高 BLEU 值 3.0 点以上。
May, 2017
本篇论文介绍了如何使用多语言神经机器翻译(multilingual NMT)解决低资源语种翻译问题,提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明,多语言 NMT 优于传统的双语 NMT,Transformer 模型优于循环神经网络模型,零样本 NMT 优于传统的基于中间语的翻译方法,甚至与完全训练的双语系统相当。
Sep, 2019
本研究提出了一种跨语言无监督神经机器翻译框架,利用来自高资源语言对的弱监督信号,以提高零资源翻译质量。该框架基于多语言模型,不需要对标准无监督神经机器翻译进行改动,实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。
Apr, 2020
本文提出了一种新颖的微调算法,该算法针对最近引入的多方位、多语言神经机器翻译,该翻译使零资源机器翻译成为可能,并且在与新颖的一对多翻译策略结合使用时,我们在经验上表明,该微调算法使得多方位、多语言模型能够翻译一个零资源语言对,且与单一对神经翻译模型训练 1M 条同一语言对的直接平行句子时相当,并且比基于中继的翻译策略更好,同时只保留一个额外的注意到相关参数的副本。
Jun, 2016
本文旨在讨论如何通过两阶段训练策略实现多语言神经机器翻译系统,以解决低效率的问题,并在 WMT'21 多语言翻译任务中进行实验验证,证明我们的系统在大多数方向上优于基线模型,并且不需要架构修改或额外数据收集。
Jun, 2022
本文提出了一个通用的深度神经机器翻译模型, Unified Model Learning for NMT (UMLNMT),它能够在多种翻译任务中实现智能的即时翻译,相较于基于具体数据集训练的模型,该模型的性能有了显著的提升,部署成本也大大降低,并且在生成多样化、高质量的翻译方面表现优异。此外,作者也提供了一个关于名言警句的中英文句子翻译数据集。
May, 2023
本研究提出了一种全新的方法,在没有平行数据的情况下,只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术, 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数,且能够利用少量的平行数据来提高翻译质量。
Oct, 2017
该研究提出一种简单的解决方案,使用单个神经机器翻译模型在多种语言之间进行翻译,并且通过在输入句子的开头引入人工标记来指定所需的目标语言,这种方法不需要更改模型框架,该模型的剩余组件包括编码器、解码器和注意力是不变的,并共享所有语言。我们的方法使用共享的词块词汇表,不需要增加任何参数,在保持模型参数总数恒定的情况下,还经常提高所有涉及的语言对的翻译质量,甚至可以在训练期间从未看到的语言对之间进行隐式桥接,因此,我们的翻译模型不限于训练时的语言对,具有一定的通用性和迁移能力。
Nov, 2016
本文探讨了多语种神经机器翻译的极限,通过实验培训了适用于 102 种语言的模型,并在 59 种语言上表现出了优异的翻译效果,表明大规模多语种神经机器翻译模型对低资源环境下的翻译质量有积极支持和刺激。
Feb, 2019