Apr, 2020

无监督机器翻译何时有效？

PDF
TL;DR通过对不同语言对、语料库和低资源语言实施 extensive empirical evaluation，我们发现 unsupervised machine translation 的性能很大程度上取决于 source 和 target corpora 的相似度、随机 word embedding initialization，以及源语言和目标语言的文字脚本。因此，我们提倡对 unsupervised MT 系统进行广泛的实证评估，并鼓励在最有前途的范式上继续研究。
发现论文，激发创造
  • 无监督神经机器翻译何时无用？为什么？

    本文研究了目前最先进的无监督神经机器翻译方法的实用性。我们分析了十个翻译任务的数据设置，研究了无监督方法无法生成合理翻译的条件，并表明这种情况对低资源语言对很常见，而在所有实验中，有监督和半监督基线都胜过了最好的无监督结果。我们的分析指出了目前无监督 NMT 的局限性，并提出了即刻的研究方向。

    Apr, 2020

  • 无监督和有监督机器翻译中系统风格差异及其在高资源机器翻译中的应用

    比较了具有相似质量的监督机器翻译和无监督机器翻译系统之间的翻译结果，发现无监督输出在流畅性和结构上比监督机器翻译更不同，同时提出一种将两种方法相结合的方式，可通过人工评估提高充分性和流畅性。

    Jun, 2021

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 通过伪平行数据增强无监督机器翻译

    即使有深度学习和大规模语言建模的最新发展，对于低资源语言的机器翻译任务仍然是一个挑战。我们提出了一种训练策略，依赖于从单语语料库中挖掘的伪平行句对和从单语语料库中反向翻译的合成句对。我们尝试了不同的训练计划，并在基于仅反向翻译数据训练的基线上实现了高达 14.5 BLEU 分（从英语到乌克兰语）的改进。

    Oct, 2023

  • 无监督双语词典归纳的局限性

    该文研究了无监督的机器翻译模型，提出了利用对手生成网络对词嵌入空间进行自对齐和对齐生成双语词典，但对于形态丰富的语言，无监督双语词典的表现会受到很大限制，该研究通过利用弱监督从同一词来构建词典，建立了无监督双语词典表现和图相似度的相关性。

    May, 2018

  • 领域不匹配并不总是阻止跨语言迁移学习

    本文展示了一种简单的初始化方案，用于克服跨语言转移中不同领域的影响，通过在领域不匹配的语料库上预训练词和上下文嵌入，然后用于多个任务中，包括 UBLI、UNMT 和 SemEval 2017 跨语言词汇相似性任务，挑战了之前的研究论文并指出，在适当初始化的情况下可以恢复由于域不匹配而产生的损失。

    Nov, 2022

  • 非平衡训练数据情景下的无监督神经机器翻译自训练

    本文旨在解决源语言文本资源匮乏时，因失衡的训练数据导致无监督神经机器翻译系统（UNMT）性能低下的问题，提出基于自训练机制的 UNMT 系统，实验证明了其比传统 UNMT 系统的性能更好。

    Apr, 2020

  • 无监督机器翻译的多语言视角

    提出了一个概率框架，用于多语言神经机器翻译，特别针对无监督翻译。通过使用一个新型的跨语言翻译损失项，自然地利用其他包含辅助平行数据的语言作为源或目标语之一。实验证明，在大多数方向上，我们的方法导致在 WMT'14 英语 - 法语、WMT'16 英语 - 德语和 WMT'16 英语 - 罗马尼亚语数据集上，BLEU 得分比最先进的无监督模型高，并且在罗马尼亚语 - 英语方向上，我们获得了比最佳无监督模型高 1.65 的 BLEU 优势。

    Feb, 2020

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 一种有效的无监督机器翻译方法

    本文针对现有无监督机器翻译存在的不足之处，通过利用子词信息、开发理论上有根据的无监督调优方法和引入联合优化程序等手段，改进了统计机器翻译系统，并将其用于初始化双 NMT 模型并进行后续微调，使无监督机器翻译的表现大幅度提升。在英德无监督机器翻译领域，改进后的 SMT 系统相较之前最好的无监督系统 BLEU 值提高了 5.5 个百分点，超过了当时的（监督）任务获胜者。

    Feb, 2019