本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5 在所有评估任务中表现最好。此外，我们还将所有模型公开提供给研究社区，促进西班牙语语言处理领域的未来探索和发展。

Sep, 2023

使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

Dec, 2022

为解决多语言下序列到序列模型生成不准确的问题，提出一种模块化多语言序列到序列模型 mmT5，通过使用语言特定模块来消除语言特定信息和语言无关信息之间的差异，并发展有效的零 - shot 迁移策略，成功提高了语言生成准确性和模型性能。

May, 2023

本文介绍了我们关于开发一种适用于处理长输入的多语言高效文本到文本转换器的工作，称为 mLongT5 (即在 LongT5 架构上构建并利用用于预训练 mT5 和 UL2 预训练任务的多语言数据集)，我们评估了该模型在各种多语言摘要和问答任务上的表现，并与现有的多语言模型（如 mBART 或 M-BERT）进行了比较，表明 mLongT5 相对于这些模型具有更强的性能。

May, 2023

引入了 IT5 模型，这是首个在意大利语上进行预训练的编码器 - 解码器 Transformer 模型家族，研究表明，它在大多数条件语言生成任务中表现出比其多语种对应物更好的性能。

Mar, 2022

本文通过使用预训练的 seq2seq 模型，探究其是否能够在句法变换中进行层次化泛化，同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息，_SEQ2SEQ 模型具有句法泛化能力，但需要比人类学习者接收更多的语言数据才能达到该能力_。

Mar, 2022

本文介绍了一种新的基于序列到序列（sequence-to-sequence）的编码表示学习预训练模型 SPT-Code，通过三种特定的预训练任务，可以解决现有预训练任务在自然语言编码中存在的问题，该模型可以有效地应用于五个编码相关的下游任务，并取得了最优秀的表现。

Jan, 2022

本研究旨在探究多语言大规模序列到序列模型 (seq2seq)，其中包括噪声处理和因果语言建模 (CLM) 的混合预训练模型，对于几个任务比解码器模型更具备有效的学习能力。我们在训练了一个 200 亿参数的 Alexa 教师模型（ AlexaTM 20B）后，发现它在一次性概述任务和机器翻译任务上的性能比一个 540B 的 PaLM 解码器模型更好，并且特别适用于低资源语言。AlexaTM 20B 还可以在零次见示下，胜过 GPT3 (175B) 并在 XNLI、XCOPA、Paws-X 和 XWinograd 等多语言任务中提供最先进的性能。总的来说，我们的研究结果表明，seq2seq 模型是一个强大的替代解码器模型的大规模语言模型 (LLM) 的选择。

Aug, 2022

本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

Oct, 2020

该论文介绍了 MASS 作为一种在 encoder-decoder 架构下的自然语言生成前预训练方法，通过在随机遮掩的句子中构建代表性提取和语言建模能力，再在文本生成、翻译及会话生成等多个语言生成任务中进行进一步微调，以获得比其他无预训练模型和其他预训练方法更加出色的表现。

May, 2019