CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

Sep, 2021

本研究使用 CodeTrans—— 一种编码器 - 解码器 transformer 模型，在六个软件工程任务中探究了 encoder-decoder transformer 模型的有效性，并调查了各种训练策略的影响，包括单任务学习、迁移学习、多任务学习和多任务学习与微调。结果表明，CodeTrans 在所有任务上均优于现有模型。该研究为软件工程领域的未来工作提供了有力的支持，并公开了预训练模型。

Apr, 2021

本研究旨在解决现有的多语言编程数据集忽略编程语言特定信息的问题。为此，作者提出了 MetaTPTrans 方法，该方法可以在特征提取器中为不同编程语言类型的输入代码片段生成动态参数，从而实现对编程语言通用信息和特定信息的同时学习。实验证明该方法在代码概述和代码完成任务中优于现有的基准模型。

Jun, 2022

本文提出了一种统一的跨模态预训练模型 UniXcoder，使用前缀适配器控制模型行为并使用语法树和代码注释等交叉模态内容来增强代码表示。同时，利用多模态内容进行对比学习以学习代码片段代表，并使用跨模态生成任务在编程语言之间进行表示的对齐。该模型在五个代码相关任务上取得了最先进的结果，而注释和 AST 可以增强该模型。

Mar, 2022

通过利用编译器中间表示来改进代码语言模型的多语言能力，并促进跨语言转换，该研究探讨了在代码语言模型中利用编译器中间表示的可行性和优势，构建了一个并行数据集 SLTrans，并通过对不同规模的代码语言模型进行连续因果语言建模训练，从而在各种代码生成任务和度量标准中实现了显著和一致的提升。

Mar, 2024

提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

May, 2023

通过使用 Transformer 编码器作为模型的一个关键组成部分并引入了一个名为 TransformCode 的新型框架，该研究论文提出了一种基于对比学习方式学习代码嵌入的方法，并介绍了一种名为抽象语法树转换的新型数据增强技术，从而生成更多样化和稳健的锚点样本。该框架不仅灵活适应，可以扩展到其他需要代码表达的下游任务，而且效率高且可扩展性强，支持任何编程语言。

Nov, 2023

Code LLMs have been enhanced through multi-task fine-tuning using MFTcoder, which outperforms single-task fine-tuning and achieves impressive performance, surpassing GPT-4 on the HumaneEval benchmark.

Nov, 2023

通过大量的代码数据进行编码表示学习，使用两阶段的预训练方案以及对比学习的方式增强表示，在各种下游任务上持续显著地超过现有的模型，详细讨论了源代码的自定义和有效的令牌级去噪方案、硬负样本与硬正样本的重要性、提出的双模态对比学习如何提升跨语义搜索性能以及预训练方案对模型规模决定下游任务性能的影响。

Feb, 2024

本研究利用编码器 - 解码器 Transformer 模型进行编码生成，使用诸如抽象语法树路径预测和数据流预测等辅助任务，结构感知地提高了生成代码质量，实现了代码翻译和文本到代码生成任务的最新性能状态。

Jun, 2022