本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

Jan, 2019

本论文提出了一种新的序列到序列的预训练模型，名为 ProphetNet，它引入了一种名为未来 n-gram 预测的自监督目标以及建议的 n 流自我注意机制，这个模型通过 n 步预测同时基于上下文符号，而非传统序列到序列模型中的一步预测来进行优化。最终实验结果表明，ProphetNet 在 CNN / DailyMail，Gigaword 和 SQuAD 1.1 基准测试中都达到了新的最先进的结果，并在同一规模的预训练语料库上使用的模型相比有了更优秀的性能。

Jan, 2020

本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

Sep, 2019

本文提出了 XLM-P 模型，结合上下文获取灵活的编码，实现语言无关以及语言特定知识的轻量级建模，且可以与其他多语言预训练方法轻松集成，提供用于文本分类、序列标记、问答和句子检索的性能改进，对于低资源语言和跨语言传输具有实际优势。

Jun, 2023

采用统一 transformer 架构和多方知觉预训练，PLATO-XL 超越其他方法在社交媒体上进行中英文闲聊，同时在基于知识的对话和任务导向的会话等多个会话任务上获得令人满意的结果，证实其作为会话人工智能的基础模型的潜力。

Sep, 2021

研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，并基于 17 个中文挑战任务对其性能进行测试。研究发现，跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会影响其性能。

Jun, 2021

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

提出了一种名为 SkillNet-X 的多语言多任务模型，使用 Transformer 模型和技能模块，以利用目标任务和目标语言的相关知识，实现在不同语言和不同任务之间切换，相对于任务特定基准和两个多任务学习基准表现更好，并在几乎所有数据集上表现出了更好的性能。

Jun, 2023

本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

Jan, 2023

该研究通过引入语言特定模块解决了多语言预训练模型中语言性能下降的问题，并在自然语言推断，命名实体识别和问答等方面证明了该方法的有效性，同时也使得可以在不降低性能的情况下添加新的语言。

May, 2022