Dec, 2020

CPM：一个大规模生成式中文预训练语言模型

PDF
TL;DR本文介绍了使用大规模的中文训练数据进行生成式预训练的中国预训练语言模型 (CPM)。CPM 是目前拥有最大的 26 亿参数和 100GB 中文训练数据的中文预训练语言模型，可用于解决多个中文 NLP 任务，并在少样本甚至零样本学习的设置下取得了较强的性能。
pre-trained language modelsgpt-3chinese nlp taskschinese pre-trained language modelfew-shot learning
发现论文，激发创造
  • CPM-2：大规模经济高效的预训练语言模型

    本文提出了有效的技术方法，包括知识继承、提示微调、InFmoE，在处理预训练、微调和推理的效率问题上使用大规模的预训练语言模型，并在实验中验证了方法的有效性。

    Jun, 2021

  • Yuan 1.0：零样本学习和少样本学习中的大规模预训练语言模型

    本研究提出了一种方法，将分布式训练性能纳入模型架构设计中，用于构建 245B 参数的大型单例语言模型 Yuan 1.0，在千万台 GPU 上取得了优异的性能，并在自然语言处理任务中取得了最新成果，同时还建立了当前质量最高的 5TB 中文语料库。此外，本研究还提出了数据处理方法和校准与标签扩展方法，以提高零样本和少样本准确性。Yuan 1.0 表现出强大的自然语言生成能力，其生成的文章很难与人类撰写的文章区分开来。

    Oct, 2021

  • ChiMed-GPT：具备全面训练机制且更符合人类偏好的中文医学大型语言模型

    近年来，对优质医疗服务的需求日益增长，凸显了医疗基础设施中的差异。随着大数据，特别是文本，成为医疗服务的基石，迫切需要专为医疗领域量身定制的有效自然语言处理（NLP）解决方案。我们提出了 ChiMed-GPT，这是一个专为中国医疗领域设计的新型基准大语言模型，其上下文长度扩展为 4,096 个标记，并经历了全面的预训练、有监督微调和强化学习高强度训练过程。在信息提取、问题回答和对话生成等真实世界任务中的评估结果表明，ChiMed-GPT 在医疗领域的性能优于一般领域的大语言模型。此外，通过要求 ChiMed-GPT 执行涉及对患者歧视的态度评定，我们分析了可能存在的偏见，以促进医疗领域大语言模型的负责任开发。代码和模型已经在此 URL 发布。

    Nov, 2023

  • PanGu-$α$: 大规模自回归预训练中文语言模型及自动并行计算

    本文介绍了在 MindSpore 框架下使用 2048 Ascend 910 AI 处理器集群训练了包含 2000 亿个参数的 PanGu-alpha 预训练语言模型及其并行算法，测试了其在各种场景下的生成能力 (包括文本摘要、问答、对话生成等) 以及探究其在零样本及少样本情况下的表现，证明了其在这些任务中的卓越能力。

    Apr, 2021

  • 中文细粒度 LLM：预训练中心化大型语言模型

    通过引入 CT-LLM，这项研究介绍了一个 2B 规模的大型语言模型（LLM），以优先考虑中文语言的发展。这项研究挑战了在英文语料库上培训 LLMs 并将其适应其他语言的常规模式，为 LLM 培训方法学的拓宽开创了新的可能性。

    Apr, 2024

  • TCM-GPT：中医领域自适应大型语言模型的高效预训练

    我们提出了一种新颖的领域特定的中医数据自适应方法，通过使用领域特定语料库对模型进行高效预训练和微调，实现与中医相关任务的高效对齐。我们在两个中医任务上进行了广泛的实验，TCM-GPT-7B 在准确性方面表现最好，分别在准确性上相对增加了 17% 和 12%，在 TCM 领域中验证了拥有 70 亿参数的大型语言模型的领域自适应效果。

    Nov, 2023

  • CFGPT：具有大型语言模型的中文金融助手

    本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架，包括一个用于预训练和监督微调的数据集（CFData），一个用于管理金融文本的金融 LLM（CFLLM）和一个用于导航实际金融应用的部署框架（CFAPP）。

    Sep, 2023

  • GLM-130B: 一个开放式双语预训练模型

    GLM-130B 是一种双语预训练语言模型，拥有 1300 亿个参数。通过本文我们介绍了 GLM-130B 的训练过程、设计选择、训练策略、工程努力、以及它有别于其他模型的独特的可扩展性等特点。我们观察到该模型在学习效率和稳定性方面都有非常好的表现，并能在英文和中文语料库中显著地超越 ERNIE TITAN 3.0 和 GPT-3 175B 等知名模型，且有别于其他模型的独特的可扩展性，可以在相对较低的成本下进行使用。

    Oct, 2022

  • 关于中国文本纠错的大型语言模型的 (非) 有效性

    对 ChatGPT 进行中文文本纠错的评估，发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能，但也存在一些不令人满意的问题。

    Jul, 2023

  • 百川 2：开放的大规模语言模型

    Baichuan 2 是一系列大规模多语言语言模型，包含 70 亿和 130 亿参数，从头开始训练，共有 2.6 万亿个标记。Baichuan 2 在公共基准测试中表现出与其他类似规模的开源模型相匹配或超越的性能，如 MMLU、CMMLU、GSM8K 和 HumanEval，此外，Baichuan 2 在医学和法律等垂直领域表现出色。我们将发布所有的预训练模型检查点，以便研究界更好地理解 Baichuan 2 的训练动态。

    Sep, 2023