Jan, 2023

SantaCoder: 别急着去触摸星星！

PDF
TL;DR本技术报告介绍了 BigCode 项目截至 2022 年 12 月的进展情况，包括当前状态的个人身份信息 (PII) 清理管道、减少模型架构风险的实验以及改进训练数据预处理方法的实验。我们在 The Stack 的 Java、JavaScript 和 Python 子集上训练了 11 亿参数模型，并在 MultiPL-E 的文本到代码基准测试上进行了评估。我们发现，更激进地过滤近似重复的数据可以进一步提高性能，并令人惊讶的是，从具有超过 5 个 GitHub 星的代码库中选择文件实际上会明显降低性能。我们最好的模型在 MultiPL-E 的 Java、JavaScript 和 Python 部分的从左到右生成和插值中都优于以前的开源多语言代码生成模型 (InCoder-6.7B 和 CodeGen-Multi-2.7B)，尽管它是一个相对较小的模型。所有模型均在 https://github.com/bigcode/BIGCODE 中以 OpenRAIL 许可证发布。
bigcodelarge language modelsresponsible developmentpii redaction pipelinetext-to-code benchmark
发现论文，激发创造
  • StarCoder 2 与 The Stack v2：下一代

    BigCode 项目介绍了 StarCoder2 模型，在训练数据上取得了较好的性能，在不同规模的 Code LLM 基准测试中均优于其他模型。

    Feb, 2024

  • StarCoder: 愿源码与你同在！

    这篇论文介绍 BigCode 社区的开源科学协作计划，具体讨论了基于 GitHub 数据和 Fine-tuning 方法所训练的大规模语言模型 StarCoder 和 StarCoderBase，证明加强的 PII 去识别流程和追溯工具等重要措施可以更安全地发布模型，并公开发布符合开源 AI 模型许可证商业版本的 StarCoder 模型。

    May, 2023

  • DeepSeek-Coder：大型语言模型与编程的结合 -- 代码智能的崛起

    通过介绍 DeepSeek-Coder 系列，一种从头开始训练的开源代码模型，基于高质量项目级代码语料库进行预训练，利用填空任务和 16K 窗口提升代码生成和填充，在多个基准测试中展现出不仅在开源代码模型中达到最先进的性能，而且超越了诸如 Codex 和 GPT-3.5 等现有的闭源模型。此外，DeepSeek-Coder 模型采用宽松许可证，允许进行研究和无限制的商业应用。

    Jan, 2024

  • Stack: 3 TB 开源许可的源代码

    本文介绍了一个包含三十种编程语言的开源代码数据集 The Stack，以及如何构建、管理和使用该数据集来训练大型语言模型，通过在 Python 子集上训练 350M 参数解码器，在文本到代码的基准测试上取得了有前途的结果。

    Nov, 2022

  • 代码的大型语言模型的系统评估

    通过对现有大型模型 (包括 Codex、GPT-J、GPT-Neo、GPT-NeoX-20B 和 CodeParrot) 的系统评估，我们填补了目前缺少大量模型和数据设计决策信息的空白，并提出了一个基于 GPT-2 架构的新模型 (PolyCoder)。我们发现虽然 Codex 本身并不是开源的，但现有的开源模型在某些编程语言上取得了接近的结果，并且在 C 编程语言中，PolyCoder 模型优于所有模型包括 Codex。

    Feb, 2022

  • CodeT5+: 用于代码理解和生成的开源大型语言模型

    提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

    May, 2023

  • CodeGen: 一个用于代码的开放式大语言模型，支持多轮程序综合

    本文介绍了一种基于大型语言模型的程序合成方法，其中所训练的模型在自然语言处理和编程语言数据上具有竞争力，以及构建的开放式基准 Multi-Turn Programming Benchmark，该基准将单个程序分解为多个提示，从而显着提高了程序综合的准确性。本文提供了 JAXFORMER 的开放源码，以便更广泛地使用。

    Mar, 2022

  • 稳定代码技术报告

    我们介绍了稳定代码（Stable Code），这是我们新一代的代码语言模型系列中的第一个模型，它用于完成代码补全、推理、数学和其他软件工程任务。此外，我们还引入了一种名为稳定代码指令（Stable Code Instruct）的指令变体，它允许与模型进行自然对话界面以进行问答和基于指令的任务。在这份技术报告中，我们详细介绍了这两个模型的数据和训练过程。他们的权重可通过 Hugging Face 在指定的 URL 下载和使用。该报告对这些模型进行了全面评估，包括多语言编程基准和多轮对话集中在机器翻译方面的基准。稳定代码在发布时是 3B 参数下的最先进的开放模型，甚至在流行的多语言编程基准上，其性能与大小为 70 亿和 150 亿参数的较大模型相当。稳定代码指令模型在 MT-Bench 编码任务和 Multi-PL 代码补全方面也展现了最先进的性能，相较于其他指令调整模型。由于其吸引人的小尺寸，我们还提供了该模型在一些边缘设备上的吞吐量测量。此外，我们还公开了几个量化检查点并提供了它们与原始模型的性能指标对比。

    Apr, 2024

  • 对基于代码训练的大型语言模型的评估

    本文介绍了从 GitHub 公开可用的代码细调的 Codex 语言模型，并研究了其 Python 代码编写能力。在新的评估集 HumanEval 上，我们的模型可解决 28.8% 的问题，并发现重复采样模型是解决难题的有效策略。但我们也发现其局限性，最终讨论了代码生成技术的潜在影响。

    Jul, 2021

  • WizardCoder：用 Evol-Instruct 使大型语言模型掌握编程技能

    本文介绍了 WizardCoder，它利用 Evol-Instruct 方法将复杂的指令微调应用于代码领域，通过对四个主要的代码生成基准进行全面实验，揭示了该模型的出色能力，并超越了所有其他开源 Code LLMs，甚至在 HumanEval 和 HumanEval + 上表现出秀。

    Jun, 2023