Apr, 2021
PanGu-$α$: 大规模自回归预训练中文语言模型及自动并行计算
PanGu-$α$: Large-scale Autoregressive Pretrained Chinese Language
Models with Auto-parallel Computation
TL;DR本文介绍了在MindSpore框架下使用2048 Ascend 910 AI处理器集群训练了包含2000亿个参数的PanGu-alpha预训练语言模型及其并行算法,测试了其在各种场景下的生成能力(包括文本摘要、问答、对话生成等)以及探究其在零样本及少样本情况下的表现,证明了其在这些任务中的卓越能力。