Jun, 2024

Nemotron-4 340B 技术报告

PDF
TL;DR我们发布了 Nemotron-4 340B 系列模型，包括 Nemotron-4-340B-Base、Nemotron-4-340B-Instruct 和 Nemotron-4-340B-Reward。这些模型是在 NVIDIA 开放模型许可协议下提供的，允许分发、修改和使用模型及其输出。我们的模型在广泛的评估基准上表现出与开放模型相当的竞争力，并在单个 DGX H100（8 个 GPU）中以 FP8 精度部署。我们相信社区可以在各种研究和商业应用中受益于这些模型，特别是用于生成合成数据以训练较小的语言模型。值得注意的是，我们模型对齐过程中超过 98% 的数据是合成生成的，这显示了这些模型在生成合成数据方面的效果。为了进一步支持开放研究并促进模型开发，我们还开源了在我们的模型对齐过程中使用的合成数据生成流程。
nemotron-4 340b modelopen accessevaluation benchmarkssynthetic datamodel development
发现论文，激发创造
  • Nemotron-4 15B 技术报告

    Nemotron-4 15B 是一种 150 亿参数的大型多语言语言模型，在英语、多语言和编码任务中表现出强大的性能，甚至超过四倍大且专门用于多语言任务的其他模型。

    Feb, 2024

  • NVIDIA NeMo WMT21 英德及英俄新闻和生物医学任务神经机器翻译系统

    本文介绍了 NVIDIA NeMo 神经机器翻译系统在 WMT21 新闻和生物医学共享翻译任务的受限数据跟踪中的运用，其中新闻任务的提交在 Transform 器基础的序列到序列模型上，采用了多项技术手段并且获得了比去年任务最佳提交更好的表现，生物医学任务的提交则采取了医学相关文本来源和生物医学数据的训练集，而两个系统都在测试集上超越了去年任务的最佳提交。

    Nov, 2021

  • 使用 DeepSpeed 和 Megatron 训练 Megatron-Turing NLG 530B，一种大规模生成式语言模型

    本文描述了用于训练 Megatron-Turing NLG 530B （MT-NLG）的基础架构和 3D 并行方法，重点介绍了训练过程、训练语料库的设计和数据精选技术，以及各种评估结果和新特性。作者展示了 MT-NLG 在几个自然语言处理基准测试中具有更优秀的零点、一点和少点学习精度，并且取得了新的最先进结果。

    Jan, 2022

  • Birbal: 使用精选数据集进行高效的 7B 指令模型微调

    LLMOps 成本高、透明度低、模型训练方法和数据缺乏一致性，为解决这些问题，LMM Efficieny Challenge 提出了在有限时间内利用单一 GPU 对基础模型进行微调的任务，研究介绍了 Birbal，该模型经过精心设计的指导说明覆盖多个任务，成功地在一个 RTX 4090 上实现了 35% 的性能提升。

    Mar, 2024

  • MEDITRON-70B：用于大型语言模型的医学预训练扩展

    通过发布具有 7B 和 70B 参数的开源 LLMs 套件 MEDITRON，我们改进了对大规模医学 LLMs 的访问，并在多个医学测试中显示出显著的性能提升。与闭源 LLMs 相比，MEDITRON-70B 在 GPT-3.5 和 Med-PaLM 上表现优异，并且与 GPT-4 和 Med-PaLM-2 相差不到 5% 和 10%。

    Nov, 2023

  • 软银系列开放语言模型

    Falcon 系列是一个先验量最大且质量最好的语言模型之一，通过预培训和多种工具的使用，Falcon-180B 在性能上超过了其他模型，使用更低的成本接近 PaLM-2-Large 模型的表现。

    Nov, 2023

  • GLM-130B: 一个开放式双语预训练模型

    GLM-130B 是一种双语预训练语言模型，拥有 1300 亿个参数。通过本文我们介绍了 GLM-130B 的训练过程、设计选择、训练策略、工程努力、以及它有别于其他模型的独特的可扩展性等特点。我们观察到该模型在学习效率和稳定性方面都有非常好的表现，并能在英文和中文语料库中显著地超越 ERNIE TITAN 3.0 和 GPT-3 175B 等知名模型，且有别于其他模型的独特的可扩展性，可以在相对较低的成本下进行使用。

    Oct, 2022

  • Orion-14B：开源多语言大型语言模型

    我们介绍了 Orion-14B，这是一个包含 140 亿参数的多语言大型语言模型集合。我们利用数据调度方法在来自英语、中文、日语、韩语和其他语言的多样文本语料库中训练了一个基础模型。此外，我们还对应用于对话和其他特定用例的一系列模型进行了精细调整。我们的评估结果表明，Orion-14B 在广泛的任务中实现了最先进的性能。我们通过公开访问的链接提供了 Orion-14B 模型系列及其相关代码，旨在激发未来在该领域的研究和实际应用。

    Jan, 2024

  • XGen-7B 技术报告

    我们训练了 XGen，这是一系列包含 70 亿参数的模型，可支持长度达 8K 的序列，同时通过公共领域的指导数据进行了微调，与最先进的开源 LLMs 相比，在标准基准测试和长序列建模任务中表现出可比或更好的结果。

    Sep, 2023

  • GPT-NeoX-20B：一种开源的自回归语言模型

    我们介绍 GPT-NeoX-20B，它是一个由 200 亿个参数构成的自回归语言模型，在 Pile 上训练，其权重将通过一个宽松的许可证向公众免费开放。在该工作中，我们描述了模型的架构和训练，并评估了其在一系列语言理解、数学和基于知识的任务上的表现。我们发现，在五次少量数据（few-shot）评估时，GPT-NeoX-20B 是一个特别强大的 few-shot 推理器，并且在性能上比同样大小的 GPT-3 和 FairSeq 模型有更大的提升。我们在该 https URL 上开源了训练和评估代码，以及模型权重。

    Apr, 2022