Apr, 2024

MiniCPM: 小型语言模型的潜力与可伸缩的训练策略揭示

PDF
TL;DR通过开展大量模型和数据维度的可扩展研究，我们引入了 MiniCPM，这是一种高效资源的替代模型，旨在探索小型语言模型在未来大型语言模型研究中的潜力，并通过模型收敛和数据适应来优化比例关系。
large language modelssmall language modelsminicpmmodel scalingdata scaling
发现论文，激发创造
  • CPM-2：大规模经济高效的预训练语言模型

    本文提出了有效的技术方法，包括知识继承、提示微调、InFmoE，在处理预训练、微调和推理的效率问题上使用大规模的预训练语言模型，并在实验中验证了方法的有效性。

    Jun, 2021

  • 超小型语言模型

    通过引入一系列研究工作，本文介绍了超小型语言模型 (STLMs) 的创新技术和高性能表现，包括字节级的分词和汇聚机制、参数联系以及高效的训练策略，以实现与传统模型相比参数数量减少了 90% 至 95% 的竞争性表现，未来的研究将探索包括无分词模型、基于自我博弈的训练以及替代训练目标等多个子问题，旨在使高性能语言模型在更广泛的应用领域中更具可访问性和实用性。

    May, 2024

  • 朝着帕累托最优吞吐量的小语言模型服务

    通过实验和分析，本文旨在对小型语言模型的推理性能和能量效率进行基准测试，并得出结论说明模型复制可以有效提高服务小型语言模型时的资源利用率。

    Apr, 2024

  • 蛋白质语言模型是否计算优化？

    通过研究蛋白质语言模型的规模定律，我们发现 pLM 的大小在计算预算范围内呈次线性增长，表现出随着模型规模增加性能递减的现象。研究结果显示 pLM 的训练损失也存在性能平稳期，这表明广泛使用的 pLM 可能不会在计算效率上达到最佳状态，而使用更大的模型能更高效地实现收敛。通过在较小的数据集上训练一个 35M 模型，我们得到了与更大模型（如 ESM-2（15B）和 xTrimoPGLM（100B））相当的困惑度结果，这为更高效地训练和在计算生物学中的实际应用 pLM 铺平了道路。

    Jun, 2024

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023

  • MobiLlama：面向准确轻量级全透明的 GPT

    通过引入准确而高效的开源 0.5 亿参数的小语言模型 MobiLlama，本文探讨了在资源受限设备上设计准确但高效的小语言模型的挑战，并关注性能提升和资源需求降低，以满足隐私、安全和可持续性部署的需求。

    Feb, 2024

  • 语言缩水了：缩减规模后的语言模型行为

    本文研究小规模的语言模型中 pre-training 效果的影响，发现 masked language modeling 对于 1.25M 及以上规模的模型具有优化效果，并建立了 pre-training perplexity 和下游任务 (GLUE benchmark) 表现的强关联性。同时，研究了 downscaling effects，并且观察到 FLOPs 小于 $2.2×10^{15}$ 时，MLM loss 并不随着计算成本 (FLOPs) 的降低而平滑缩小，增加层数并不总是有助于提高下游表现。

    May, 2023

  • Mini-Model Adaptation: 通过对齐的浅层训练有效地将预训练模型扩展到新语言

    提出了小型模型自适应方法 Mini-Model Adaptation，在参数的部分分数中构建浅层小型模型，以高效地训练新的语种嵌入，可应用于 Transformer 等预训练模型中，跨语言性能与标准方法相当，计算效率高达 2.4 倍。

    Dec, 2022

  • CPM：一个大规模生成式中文预训练语言模型

    本文介绍了使用大规模的中文训练数据进行生成式预训练的中国预训练语言模型 (CPM)。CPM 是目前拥有最大的 26 亿参数和 100GB 中文训练数据的中文预训练语言模型，可用于解决多个中文 NLP 任务，并在少样本甚至零样本学习的设置下取得了较强的性能。

    Dec, 2020

  • 小型语言模型能否学习、遗忘并保留噪声模式？

    该研究调查了小语言模型在学习、保留和消除通常不存在于互联网上的噪声方面的能力，并评估了四个小语言模型的表现在不同训练水平下，发现 Olmo 在任务上表现始终良好，即使它是参数最少的模型。

    Jul, 2024