通过 RRTF (Rank Responses to align Test&Teacher Feedback) 框架，我们提出了 PanGu-Coder2，它在 OpenAI HumanEval 基准测试中实现了 62.20% 的 pass@1，并通过对 CoderEval 和 LeetCode 基准测试的广泛评估显示，PanGu-Coder2 始终优于所有之前的 Code LLMs。

Jul, 2023

本文介绍了在 MindSpore 框架下使用 2048 Ascend 910 AI 处理器集群训练了包含 2000 亿个参数的 PanGu-alpha 预训练语言模型及其并行算法，测试了其在各种场景下的生成能力 (包括文本摘要、问答、对话生成等) 以及探究其在零样本及少样本情况下的表现，证明了其在这些任务中的卓越能力。

Apr, 2021

我们分析了现有的语言模型架构，发现特征崩溃问题，然后根据理论分析提出了一种增强语言模型非线性的新的高效模型架构，命名为 PanGu-$\pi$，并通过实验证明了其在效率和准确性方面的优势。

Dec, 2023

本文介绍 PanGu-Bot，一个基于大型预训练语言模型（PLM）PANGU-alpha 的中文预训练开放域对话生成模型。从响应质量、知识和安全三个方面，PanGu-Bot 优于现有的中文对话系统，并且可以轻松地生成情感响应。但是，响应质量、知识正确性和安全性仍然不够完美，需要进一步研究来建立可靠智能的对话系统。

Mar, 2022

本文介绍了使用 MindSpore 在 Ascend 910 人工智能处理器集群上训练的具有 1.085T 参数的 PanGu-Sigma 语言模型，其使用 Random Routed Experts (RRE) 的密集 Transformer 模型来扩展，通过使用 Expert Computation 和 Storage Separation (ECSS) 在 329B 令牌上高效地训练。实验结果显示，PanGu-Sigma 在各种中文 NLP 下游任务的零 - shot 学习中提供了最先进的性能。此外，当在开放式对话、问答、机器翻译和代码生成的应用数据中进行微调时，PanGu-Sigma 表现出了强大的能力。

Mar, 2023

本文提出了一种统一的跨模态预训练模型 UniXcoder，使用前缀适配器控制模型行为并使用语法树和代码注释等交叉模态内容来增强代码表示。同时，利用多模态内容进行对比学习以学习代码片段代表，并使用跨模态生成任务在编程语言之间进行表示的对齐。该模型在五个代码相关任务上取得了最先进的结果，而注释和 AST 可以增强该模型。

Mar, 2022

Unicoder 是一种机器学习算法，可对自然语言进行编码，进而实现输出不同语言的任务。该方法提出了三种新的跨语言预训练任务，包括跨语言词汇恢复、跨语言近义词分类和跨语言掩码语言模型。作者还发现在多种语言上进行微调可以进一步提高性能。作者在两个任务上进行了实验，包括跨语言自然语言推断和跨语言问答，并且在新的跨语言问答数据集上实现了 5.5％的精确度提高。

Sep, 2019

本文提出了一种名为 COMPCODER 的三阶段编译反馈机制，采用编译器反馈来生成可编译的代码，实验结果显示该方法的成功编译率从 44.18％提升至 89.18％。

Mar, 2022

CodeT5 是一个基于编码器 - 解码器的统一预训练 Transformer 模型，它充分利用了开发人员分配的标识符所传达的代码语义，通过支持代码理解和生成任务以及多任务学习等方面，显著优于先前的方法，并且在代码缺陷检测和克隆检测等理解任务以及 PL-NL，NL-PL 和 PL-PL 等不同方向的生成任务中表现出色。

Sep, 2021

本文介绍了一种基于语法规则的树形解码器，用于在编程语言之间进行翻译，并发现该语法基础的树形模型在以前使用的合成任务中，在两种编程语言之间进行翻译方面优于最新的树形模型。

Jul, 2018