提高低资源语言的零 - shot 翻译
本研究提出了一种基于无监督学习和半监督学习的组合方法,将双重学习与零样本学习相结合,通过加强翻译任务的对偶性,并且只需要被翻译成的单一语言的单语数据,来优化机器翻译质量,结果表明该方法在零样本条件下英语、西班牙语和法语三者之间,取得了较传统 NMT 系统更好的翻译表现。
May, 2018
本篇论文介绍了如何使用多语言神经机器翻译(multilingual NMT)解决低资源语种翻译问题,提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明,多语言 NMT 优于传统的双语 NMT,Transformer 模型优于循环神经网络模型,零样本 NMT 优于传统的基于中间语的翻译方法,甚至与完全训练的双语系统相当。
Sep, 2019
本文提出了两种策略,可应用于多语言神经机器翻译系统中,以更好地处理零资源情况,尤其是在减轻语言偏差问题方面在真实零资源条件下不平衡数据的多语言翻译方面,实验证明这两种策略在性能和计算资源方面都是有效的。
Nov, 2017
本文探讨了如何改善大规模多语言神经机器翻译模型的性能,并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对,同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明,本方法在一对多和多对多设置中缩小了双语模型的性能差距,并将零 - shot 表现提高约 10 BLEU,接近传统的基于中间语言的方法。
Apr, 2020
本文提出了一种新颖的微调算法,该算法针对最近引入的多方位、多语言神经机器翻译,该翻译使零资源机器翻译成为可能,并且在与新颖的一对多翻译策略结合使用时,我们在经验上表明,该微调算法使得多方位、多语言模型能够翻译一个零资源语言对,且与单一对神经翻译模型训练 1M 条同一语言对的直接平行句子时相当,并且比基于中继的翻译策略更好,同时只保留一个额外的注意到相关参数的副本。
Jun, 2016
通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译,此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。
Jun, 2019
本研究提出了一种能够有效缓解多语言神经机器翻译中面临的零翻译问题的方法。我们的改进主要在于移除编码器层中的残差连接,使模型表示更多地与特定语言对应。通过此种改进,我们在零翻译的任务上获得高达 18.5 个 BLEU 点的提升,而且在其他有监督的翻译中保持了高质量的表现。通过对隐藏层输出的详细检查,我们也表明了我们的方法确实能够获得更多的语言无关性。
Dec, 2020
研究了多语言零 - shot 机器翻译中的稳定性问题,发现语言特定的次词分割会提高翻译性能,单独的中间语言反而降低零 - shot 翻译表现,但是 在 非英语语言配对中使用少量的平行数据可以有效减少对英语的偏见。
Nov, 2020
本文研究了多语言神经机器翻译模型的零样本翻译问题,提出了基于辅助损失的方法,并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果,同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。
Mar, 2019
通过将多语言翻译问题重新构造为概率推理,定义了零 - shot 一致性的概念;引入了一种基于一致性约束的训练方法,鼓励模型在辅助语言中生成等效的平行句子翻译,最终我们测试了多种公共的零 - shot 翻译基准数据集,并证明基于一致性约束训练的 NMT 模型通常会在无监督翻译任务上取得 2-3 BLEU 的提高,而在监督翻译任务上的性能不会降低。
Apr, 2019