Jan, 2024

DeepSeek LLM: 以长期主义为基础扩展开源语言模型

PDF
TL;DR通过研究扩展定律，我们发现了 DeepSeek LLM 在两种常用的开源配置下，7B 和 67B，用于扩展大规模模型的独特发现，并介绍了 DeepSeek LLM 项目的长期前景。通过创建包含 2 万亿标记的数据集并不断扩展，来支持预训练阶段。我们在 DeepSeek LLM 基础模型上进行有监督的微调和直接偏好优化，从而创建了 DeepSeek Chat 模型。评估结果表明，DeepSeek LLM 67B 在各种基准测试中均超过 LLaMA-2 70B，尤其在代码、数学和推理领域。此外，开放式评估显示 DeepSeek LLM 67B Chat 在性能上优于 GPT-3.5。
发现论文，激发创造
  • DeepSeek-Coder：大型语言模型与编程的结合 -- 代码智能的崛起

    通过介绍 DeepSeek-Coder 系列，一种从头开始训练的开源代码模型，基于高质量项目级代码语料库进行预训练，利用填空任务和 16K 窗口提升代码生成和填充，在多个基准测试中展现出不仅在开源代码模型中达到最先进的性能，而且超越了诸如 Codex 和 GPT-3.5 等现有的闭源模型。此外，DeepSeek-Coder 模型采用宽松许可证，允许进行研究和无限制的商业应用。

    Jan, 2024

  • DeepSeek-V2: 一种强大、经济高效的专家混合语言模型

    DeepSeek-V2 是一种经济高效的 Mixture-of-Experts（MoE）语言模型，具有 236B 总参数，支持 128K tokens 的上下文长度。通过创新的架构，如 Multi-head Latent Attention（MLA）和 DeepSeekMoE，DeepSeek-V2 不仅在性能上大大超越 DeepSeek 67B，而且节省了 42.5% 的训练成本，将 KV 缓存减少了 93.3%，并将最大生成效率提升了 5.76 倍。

    May, 2024

  • Tele-FLM 技术报告

    大语言模型的扩展和效率提升方法的开放资源，以及展示优于其他模型的跨语言语言建模能力和核心设计。

    Apr, 2024

  • DeepSeek-VL: 实现真实世界的视觉 - 语言理解

    DeepSeek-VL 是一个开源的视觉 - 语言模型，设计用于实际的视觉和语言理解应用，通过多样性数据、基于用户场景的细分以及高效的编码方式来提升模型的用户体验和性能。

    Mar, 2024

  • SOLAR 10.7B: 大规模语言模型的简单有效深度缩放

    引入深度上采样（DUS）技术，一种简单高效的基于语言模型（LLM）的升级技术。采用 DUS 构建 SOLAR 10.7B，一个具有 107 亿参数、在自然语言处理任务中展现出卓越性能的大型语言模型（LLM）。相比于现有开源预训练的 LLM（如 Llama 2 和 Mistral 7B），SOLAR 10.7B 具有更好的性能。此外，我们还提出了 SOLAR 10.7B-Instruct，一个为了指令遵循能力而进行微调的变体，超过了 Mixtral-8x7B。SOLAR 10.7B 以 Apache 2.0 许可证的形式公开，促进其在 LLM 领域的广泛应用和获取。

    Dec, 2023

  • InternLM2 技术报告

    InternLM2 是一种开源的大型语言模型，通过创新的预训练和优化技术，在多个维度和 30 个基准测试中优于之前的模型，并在长文本建模和开放主观评估方面取得突出表现。该模型通过精心设计的预训练过程，使用了包括文本、代码和长文本数据在内的多种数据类型，并具备捕捉长期依赖、高效处理任务的能力。此外，通过释放不同训练阶段和模型大小的 InternLM2 模型，为社区提供了对模型演进的深入理解。

    Mar, 2024

  • DeepSeek-Prover: 通过大规模合成数据推进 LLMs 中的定理证明

    基于大规模合成数据，使用 Lean 4 proof 数据生成方法，我们的模型在定理生成和解决题目方面取得了卓越的成果，证明了合成数据对提高 LLMs 中的定理证明能力的潜力。

    May, 2024

  • ChatLaw: 带外部知识库集成的开源法律大语言模型

    本文介绍了一个名为 ChatLaw 的开源法律大语言模型，它通过特定的数据集、关键词检索和自注意力机制来优化模型在法律领域的表现，解决了参考数据筛选过程中的模型幻觉问题，提升了其解决问题的能力。

    Jun, 2023

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023

  • ChatGPT 的一周年：开源大规模语言模型是否在迎头赶上？

    2022 年底，ChatGPT 的发布在 AI 的研究和商业领域引发了巨大的风潮，通过使用监督微调和强化学习来对大型语言模型进行指令调优，它展示了模型能够回答人类提出的问题并按照广泛的任务进行指令遵循，使得大型语言模型的研究兴趣得到了极大的加强，各种新的大型语言模型层出不穷，包括很多专注于大型语言模型的初创公司。然而，尽管封闭源的大型语言模型（如 OpenAI 的 GPT 和 Anthropic 的 Claude）通常表现出色，但开源大型语言模型的进展也非常迅速，并声称在某些任务上实现了与 ChatGPT 持平甚至更好的结果，这对于研究和商业都具有重要的意义。在本研究中，我们在 ChatGPT 发布一周年之际，全面概述了这一成就，并调查了所有开源大型语言模型声称在各项任务中达到与 ChatGPT 持平或更好的情况。

    Nov, 2023