Jan, 2024

Orion-14B：开源多语言大型语言模型

PDF
TL;DR我们介绍了 Orion-14B，这是一个包含 140 亿参数的多语言大型语言模型集合。我们利用数据调度方法在来自英语、中文、日语、韩语和其他语言的多样文本语料库中训练了一个基础模型。此外，我们还对应用于对话和其他特定用例的一系列模型进行了精细调整。我们的评估结果表明，Orion-14B 在广泛的任务中实现了最先进的性能。我们通过公开访问的链接提供了 Orion-14B 模型系列及其相关代码，旨在激发未来在该领域的研究和实际应用。
orion-14bmultilingual large language modelsdata scheduling approachstate-of-the-art performanceconversational applications
发现论文，激发创造
  • Nemotron-4 15B 技术报告

    Nemotron-4 15B 是一种 150 亿参数的大型多语言语言模型，在英语、多语言和编码任务中表现出强大的性能，甚至超过四倍大且专门用于多语言任务的其他模型。

    Feb, 2024

  • 百川 2：开放的大规模语言模型

    Baichuan 2 是一系列大规模多语言语言模型，包含 70 亿和 130 亿参数，从头开始训练，共有 2.6 万亿个标记。Baichuan 2 在公共基准测试中表现出与其他类似规模的开源模型相匹配或超越的性能，如 MMLU、CMMLU、GSM8K 和 HumanEval，此外，Baichuan 2 在医学和法律等垂直领域表现出色。我们将发布所有的预训练模型检查点，以便研究界更好地理解 Baichuan 2 的训练动态。

    Sep, 2023

  • 玉兰：一个开源的大型语言模型

    该论文介绍了 YuLan 的开发，这是一系列具有 120 亿参数的开源 LLMs，其基础模型在多样化语料库中进行了预训练，并采用了三阶段预训练方法以提高整体能力。通过使用大量高质量合成数据，结合指导调整和人工对齐的后续训练阶段，以及跨这些阶段的课程学习框架来促进复杂和长尾知识的学习，YuLan 已在各种英文和中文基准测试中达到与最先进 LLMs 相媲美的性能。

    Jun, 2024

  • 多语能力的祝福：Poro 34B

    通过多语言训练，研究引入了 Poro 34B 模型，该模型具有 340 亿个参数，并使用 1 万亿个标记的芬兰语、英语和编程语言进行训练，证明了多语言训练方法可以显著改进现有的芬兰语模型，并在翻译和生成英语和编程语言方面具有竞争力。

    Apr, 2024

  • Skywork：一种更开放的双语基础模型

    本技术报告介绍了 Skywork-13B，这是一个大型语言模型（LLMs）系列，它是基于包括英文和中文文本在内的超过 3.2 万亿标记训练的。我们采用两阶段的训练方法，通过使用分段语料库进行通用训练和特定领域增强训练。该模型在流行的基准测试上表现出色，并且在中国语言建模的各个领域中实现了最新的技术水平。此外，我们提出了一种新颖的泄漏检测方法，证明测试数据污染是一个迫切需要 LLM 社区进一步研究的问题。为了推动未来的研究，我们发布了 Skywork-13B 以及培训过程中得到的中间阶段的检查点。我们还发布了部分 SkyPile 语料库，其中包含超过 1500 亿个网络文本标记，这是迄今为止最大的高质量开放中文预训练语料库。我们希望 Skywork-13B 和我们开放的语料库能成为一个宝贵的开源资源，使高质量的 LLMs 变得更加普及。

    Oct, 2023

  • Aurora-M：第一个根据美国行政命令进行红队测试的开源多语言模型

    Aurora-M is a multilingual open-source pretrained language model that addresses challenges such as limited multilingual capabilities and catastrophic forgetting, surpassing 2 trillion training tokens. It aligns with safety considerations and outperforms alternatives in multilingual settings.

    Mar, 2024

  • GLM-130B: 一个开放式双语预训练模型

    GLM-130B 是一种双语预训练语言模型，拥有 1300 亿个参数。通过本文我们介绍了 GLM-130B 的训练过程、设计选择、训练策略、工程努力、以及它有别于其他模型的独特的可扩展性等特点。我们观察到该模型在学习效率和稳定性方面都有非常好的表现，并能在英文和中文语料库中显著地超越 ERNIE TITAN 3.0 和 GPT-3 175B 等知名模型，且有别于其他模型的独特的可扩展性，可以在相对较低的成本下进行使用。

    Oct, 2022

  • 软银系列开放语言模型

    Falcon 系列是一个先验量最大且质量最好的语言模型之一，通过预培训和多种工具的使用，Falcon-180B 在性能上超过了其他模型，使用更低的成本接近 PaLM-2-Large 模型的表现。

    Nov, 2023

  • Xmodel-LM 技术报告

    我们介绍了 Xmodel-LM，这是一个在超过 2 万亿个标记上进行预训练的紧凑高效的 1.1B 语言模型，通过在我们自建的数据集 (Xdata) 上进行训练，该数据集在下游任务优化的基础上平衡了中文和英文文本，尽管模型规模较小，但 Xmodel-LM 表现出色，显著超过了类似规模的现有开源语言模型。我们的模型检查点和代码在 GitHub 上公开可访问。

    Jun, 2024

  • PolyLM: 一个开源的多语种大语言模型

    PolyLM 是一个多语言大型语言模型，经过课程学习和自我指导方法的预训练，可以在多种不同语言的多语言理解、问答、生成和翻译任务上获得比其他已有模型更好的表现。

    Jul, 2023