Jan, 2020

多语言去噪预训练用于神经机器翻译

PDF
TL;DR本文的研究表明，多语言去噪预训练在各种机器翻译任务中都有显著的性能提升，通过使用 BART 目标在许多语言的大规模单语语料库上进行序列到序列去噪自动编码器的预训练，我们提出了 mBART。mBART 是预训练完整序列到序列模型的首个方法之一，它能够直接进行监督（包括句子级和文档级）和无监督机器翻译的微调，而无需特定于任务的修改，并且在除最高资源设置外的所有设置中都能实现性能提升，包括低资源机器翻译和许多文档级和无监督模型的 12 BLEU 点和 5 BLEU 点以上。
发现论文，激发创造
  • BART：自然语言生成、翻译和理解的去噪序列到序列预训练

    BART 是一种预训练序列到序列模型的去噪自编码器，通过使用 Transformer 架构，并使用一些创新方法，如随机调换原始数据序列的顺序和填充原始数据中的实体，使得 BART 在文本生成、理解任务以及抽象对话等方面性能表现出色，超越了 RoBERTa，并提供了 1.1 个 BLEU 的机器翻译增量。

    Oct, 2019

  • 去噪适配器的多语言无监督神经机器翻译

    本文提出了一种使用去噪适配器的方法，以在没有监督数据的情况下，通过使用辅助并行语言对，将机器翻译应用于仅具有单语数据的语言。该方法的结果与反向翻译相当，并且允许逐步添加新语言。

    Oct, 2021

  • 极低资源神经机器翻译的连续混合语言预训练

    本文提出了一种连续预训练 (CPT) 框架来应对低资源语言中看不见的语言，通过使用目标语言的单语语料库构建混合语言文本并继续对 mBART 进行预训练以优化低资源翻译任务，结果表明我们的方法能够持续提高翻译性能。

    May, 2021

  • 预训练的多语言序列到序列模型：底资源语言翻译的希望？

    通过在 10 种语言上进行完备实验，考虑了五个因素：（1）微调数据量，（2）微调数据中的噪声，（3）模型预训练数据量，（4）领域不匹配的影响以及（5）语言类型学，我们试图确定预训练多语言序列到序列模型（如 mBART）对翻译低资源语言有何贡献，并提出了许多启发式方法。实验结果显示，mBART 对领域差异具有鲁棒性，但对未知和语言类型学差异较大的语言的翻译仍低于 3.0 BLEU。因此，我们鼓励将重点从新模型转向新数据。

    Mar, 2022

  • 多语种文本风格转换的语言和任务自适应多语种预训练

    本研究利用预训练的 seq2seq 模型 mBART 进行多语种文本风格转换，使用机器翻译数据和英文句子得到了三种目标语言的最新成果。此外，考虑到平行数据的普遍稀缺性，我们提出了一个模块化方法，包括两种针对语言和任务适应的训练策略，实现竞争性性能，适用于其他风格转换任务以及其他语言。

    Mar, 2022

  • 通过降噪训练改善神经机器翻译

    该论文提出了一种简单有效的联合去噪预训练方法（DoT），该方法不需要增加任何参数或训练步骤，适用于神经机器翻译并不断提升翻译性能，尤其在高资源情况下，性能优于先前的预训练模型 mBART。

    Jan, 2022

  • 基于释义改写的预训练

    MARGE 是一种预训练的模型，其多语言多文档解析目标实现了一种新的掩蔽语言建模范例，能够同时实现重构和检索，并能够将这种方法应用于多种语言的翻译和信息检索任务，取得了不错的效果。

    Jun, 2020

  • 适应预训练的单语和多语模型的机器翻译配方

    本文旨在研究利用预训练模型进行机器翻译时，冻结参数与添加新参数来微调预训练模型的优点和缺点，通过试验方式得出最优结果。结果表明，当微调 monolingual 预训练模型时，通过冻结大部分模型参数并添加更多的位置嵌入可以在机器翻译任务中获得最佳性能表现，最重要的微调参数是编码器 - 解码器的关注力参数。

    Apr, 2020

  • DEEP: 神经机器翻译去噪实体预训练

    该论文介绍了 DEEP 方法，借助大量单语数据和知识库，通过去噪自编码器和多任务学习的方式，提高在句子内进行命名实体翻译的准确性，实验结果表明在三种语言对翻译中 DEEP 方法相较于其他方法具有更好的表现。

    Nov, 2021

  • 可扩展的跨语言预训练和微调技术实现多语言翻译

    本文证明多语言预训练可以通过多语言微调来创建多语言翻译模型，并且证明在不失性能的前提下，预训练模型可以扩展到更多语言。此外，作者基于 ML50 数据集表明，多语言微调相较于其他训练方式有显著提升。

    Aug, 2020