本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。

May, 2020

本文探讨了自然语言处理中的迁移学习技术，提出了一个统一的框架来解决所有基于文本的问题，比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响，并通过实验与新数据集达到了最先进的结果，并共享了数据集、预训练模型和代码，以促进未来的 NLP 迁移学习研究。

Oct, 2019

本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

Oct, 2020

研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。

Sep, 2022

本研究使用 CodeTrans—— 一种编码器 - 解码器 transformer 模型，在六个软件工程任务中探究了 encoder-decoder transformer 模型的有效性，并调查了各种训练策略的影响，包括单任务学习、迁移学习、多任务学习和多任务学习与微调。结果表明，CodeTrans 在所有任务上均优于现有模型。该研究为软件工程领域的未来工作提供了有力的支持，并公开了预训练模型。

Apr, 2021

本研究比较了顺序微调和多任务学习模型在两个相关任务上性能提升的情况，并在 FigLang2022 整合任务上测试了这些模型。结果表明，顺序微调在交叉任务知识转移方面表现优异，甚至达到最高得分。

Oct, 2022

CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

Sep, 2021

本文研究了将 mT5 多语言模型适应为仅针对印尼语的预训练 T5 模型，通过对多语言模型与本模型在情感分析、问题生成和问答三个任务的表现进行比较，结果表明可以生成一个更小的预训练模型并在 comparable yields 的同时减小模型大小高达 58％，而且所得模型需要更少的内存，加载速度更快，推理时间更快。

Feb, 2023

提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

May, 2023

探究如何利用预训练语言模型对自动程序修复进行改进，研究表明采用 PLBART 和 CodeT5 两种预训练模型 Fine-Tune 后，能在自然语言的程序修复数据集上显著提高性能，其中预训练机制对性能提升至关重要。

Apr, 2023