EMNLPOct, 2020

利用对齐信息预训练多语言神经机器翻译

PDF
TL;DR我们提出了 mRASP，这是一种预训练通用多语言神经机器翻译模型的方法，通过其新颖的技术可以在表示空间中将具有相似含义的词和短语接近，并在 32 种语言对上进行了联合预训练，进而在下游语言对上进行微调，结果显示 mRASP 取得了显著的性能提升，并首次证明了多个低资源语言配对可以用于提高富资源机器翻译的质量，甚至可以提高从未在先前训练语料库中出现的外语的翻译质量。
发现论文，激发创造
  • 多对多多语言神经机器翻译的对比学习

    本论文旨在建立一个多对多的机器翻译系统，重点关注非英语语言方向的质量。为此，我们提出了一种训练方法 mRASP2，通过对不同语言的表示进行对比学习和数据增强来获得单一统一的跨语言翻译模型，该模型在英语为中心的方向中表现优异，在非英语方向中比多语言 Transformer 基准模型提高 10+ BLEU 分数。

    May, 2021

  • 预训练后的对齐：通过跨语言对齐提升多语生成模型

    通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

    Nov, 2023

  • 基于跨语言预训练的零 - shot 神经机器翻译迁移

    通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

    Dec, 2019

  • 极低资源神经机器翻译的连续混合语言预训练

    本文提出了一种连续预训练 (CPT) 框架来应对低资源语言中看不见的语言，通过使用目标语言的单语语料库构建混合语言文本并继续对 mBART 进行预训练以优化低资源翻译任务，结果表明我们的方法能够持续提高翻译性能。

    May, 2021

  • PEACH：预训练序列到序列的多语言翻译模型，使用半监督伪并行文档生成

    本研究介绍一种新的半监督方法，能为多语言预训练生成高质量的伪平行数据，结合高质量的字典，能够在机器翻译等多种任务中胜过现有方法，特别适用于低资源语言。

    Apr, 2023

  • MT6: 多语言预训练文本转文本 Transformer 及其翻译数据对

    该研究旨在提高跨语言文本之间转换的效果。通过使用三种跨语言文本 - to-text 预训练任务和部分非自回归目标，将 Multilingual T5 的结果进一步提高到 mT6。经过实验验证，该方法提高了基于八个多语言基准数据集的跨语言转移能力。

    Apr, 2021

  • 基于轴心的非英语语言神经机器翻译迁移学习

    本文提出了三种有效的预训练策略来提高神经机器翻译的性能，通过使用一种中间语言来实现对原语言和目标语言对之间关系的增强，从而在 WMT 2019 的 法德和德捷语任务中超过了多语言模型，同时优化了零样本 / 零资源情境下的翻译效果。

    Sep, 2019

  • 多语言神经机器翻译的语言家族适配器

    本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

    Sep, 2022

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 从双语对齐到多语对齐：无监督平行文本挖掘

    本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。

    Apr, 2021