Dec, 2020

XLM-T: 使用预训练的跨语言 Transformer 编码器扩展多语言机器翻译能力

PDF
TL;DR本文介绍了使用预训练的跨语言 Transformer 编码器初始化模型，并使用多语言平行数据微调的简单方法 XLM-T，它在 10 种语言对的 WMT 数据集和 94 种语言对的 OPUS-100 语料库中实现了显着的性能提升。此外，对 XLM-T 进行的无监督句法分析，词对齐和多语言分类的广泛分析说明了其对机器翻译的有效性。
发现论文，激发创造
  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 大规模跨语言无监督表示学习

    通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

    Nov, 2019

  • XLM-T：用于社交媒体情感分析等多语言语言模型在 Twitter 中的应用

    本文介绍了 XLM-T 模型，用于在 Twitter 中训练和评估多语言语言模型，并提供了新的强大的多语言模型基线和一组统一的不同语言的情感分析 Twitter 数据集和针对它们进行的 XLM-T 模型微调。

    Apr, 2021

  • 面向多语言掩码语言建模的大规模 Transformer

    本研究探讨了跨语言语言模型预训练的有效性，并且提出了两个参数分别为 3.5B 和 10.7B 的大型多语言掩码语言模型，这两个新模型分别称为 XLM-R XL 和 XLM-R XXL，在 XNLI 中的平均准确率比 XLM-R 高 1.8％和 2.4％，同时处理了 99 种以上的语言，优于 RoBERTa-Large 模型，表明拥有更大容量的预训练模型可以在高资源语言上取得强大的性能，同时极大地改善了低资源语言。

    May, 2021

  • 多语言双向无监督翻译：借助多语言微调和回译

    本文提出了 EcXTra 方法，使用预训练模型，在 40 种语言间进行多语言微调，使用双向回译来生成合成的语言平行数据，达到了无监督 NMT 的翻译效果。该方法在处理低资源语言上表现出优秀的翻译性能，尤其在英语到哈萨克语的翻译任务上达到了新的最先进水平。

    Sep, 2022

  • 为实现零样本神经机器翻译最大化利用多语言预训练

    论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。

    Oct, 2021

  • XLM-E: 通过 ELECTRA 进行跨语言语言模型预训练

    通过 ELECTRA 风格任务，我们引入了跨语言语言模型预训练。我们在多语言和平行语料库上对模型进行预训练，同时提出了两个预训练任务，即多语言替换标记检测和翻译替换标记检测。我们的模型在各种跨语言理解任务中表现优异，成本更低。此外，分析显示 XLM-E 在跨语言可转移性方面表现更好。

    Jun, 2021

  • 跨语言模型预训练的软语言聚类技术

    本文提出了 XLM-P 模型，结合上下文获取灵活的编码，实现语言无关以及语言特定知识的轻量级建模，且可以与其他多语言预训练方法轻松集成，提供用于文本分类、序列标记、问答和句子检索的性能改进，对于低资源语言和跨语言传输具有实际优势。

    Jun, 2023

  • XLM-K: 利用多语言知识提高跨语言语言模型的预训练

    本文提出了一种名为 XLM-K 的跨语言语言模型，它将多语言知识融入预训练中并通过两种知识任务对其进行了拓展，结果显示 XLM-K 在多项任务上表现出更高的优越性。

    Sep, 2021

  • 使用 XLM-T、Google Translate 和集成学习的多语言推文亲密度检测在 SemEval-2023 任务 9 中的应用

    本文基于 XLM-T 提出了一种基于 transformer 的系统，用于预测多语言推特的亲密度，使用英语翻译数据可用于优化训练和推理，取得了 0.599 的总体 Pearson's r 值和排名第四的成绩。

    Apr, 2023