本文介绍了使用 MindSpore 在 Ascend 910 人工智能处理器集群上训练的具有 1.085T 参数的 PanGu-Sigma 语言模型，其使用 Random Routed Experts (RRE) 的密集 Transformer 模型来扩展，通过使用 Expert Computation 和 Storage Separation (ECSS) 在 329B 令牌上高效地训练。实验结果显示，PanGu-Sigma 在各种中文 NLP 下游任务的零 - shot 学习中提供了最先进的性能。此外，当在开放式对话、问答、机器翻译和代码生成的应用数据中进行微调时，PanGu-Sigma 表现出了强大的能力。

Mar, 2023

本文介绍了使用大规模的中文训练数据进行生成式预训练的中国预训练语言模型 (CPM)。CPM 是目前拥有最大的 26 亿参数和 100GB 中文训练数据的中文预训练语言模型，可用于解决多个中文 NLP 任务，并在少样本甚至零样本学习的设置下取得了较强的性能。

Dec, 2020

本文介绍 PanGu-Bot，一个基于大型预训练语言模型（PLM）PANGU-alpha 的中文预训练开放域对话生成模型。从响应质量、知识和安全三个方面，PanGu-Bot 优于现有的中文对话系统，并且可以轻松地生成情感响应。但是，响应质量、知识正确性和安全性仍然不够完美，需要进一步研究来建立可靠智能的对话系统。

Mar, 2022

本研究提出了一种方法，将分布式训练性能纳入模型架构设计中，用于构建 245B 参数的大型单例语言模型 Yuan 1.0，在千万台 GPU 上取得了优异的性能，并在自然语言处理任务中取得了最新成果，同时还建立了当前质量最高的 5TB 中文语料库。此外，本研究还提出了数据处理方法和校准与标签扩展方法，以提高零样本和少样本准确性。Yuan 1.0 表现出强大的自然语言生成能力，其生成的文章很难与人类撰写的文章区分开来。

Oct, 2021

本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

Apr, 2022

我们分析了现有的语言模型架构，发现特征崩溃问题，然后根据理论分析提出了一种增强语言模型非线性的新的高效模型架构，命名为 PanGu-$\pi$，并通过实验证明了其在效率和准确性方面的优势。

Dec, 2023

PanGu-Coder 是一种预训练的仅解码器语言模型，在文本到代码生成方面采用 PanGu-Alpha 架构，使用因果语言建模和屏蔽语言建模的训练方法，以实现在自然语言问题描述的情况下对编程语言解决方案进行综合的代码生成和优化。

Jul, 2022

AUTOPARLLM 是一个用于自动发现并生成顺序程序的并行版本的框架，通过使用异构图神经网络（GNN）进行并行性发现和并行模式检测，并结合 LLM 代码生成器，能够有效改善并行代码生成任务中的多个代码生成指标，并且通过引入 OMPScore 衡量方法，提供了一种优于现有指标的评估生成代码质量的方法。

Oct, 2023

本文提出如何将 PLMs 应用到现有应用程序特定的生成基准上，对输入和输出语言等不同维度的 PLMs 在自然语言生成任务方面的优点和局限性进行了深入的实证研究，并分享了在开发新 PLMs 时考虑到的基准生成能力的最佳实践。

Jun, 2023

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020