Feb, 2024

API Pack：用于 API 调用生成的大规模多语言数据集

PDF
TL;DR我们介绍了 API Pack，这是一个包含超过一百万个指令 - API 调用对的多语言数据集，旨在提高大型语言模型的 API 调用生成能力。通过实验，我们证明了 API Pack 在增强这一专业任务的模型能力方面的有效性，同时保持了其对于一般编码的整体熟练程度。通过使用仅 20000 个 Python 实例对 CodeLlama-13B 进行微调，其在生成未见过的 API 调用方面的准确性比 GPT-3.5 和 GPT-4 分别提高了 10% 和 5%。扩展到 100k 个示例可以提高对训练过程中未见过的新 API 的泛化能力。此外，可以实现跨语言的 API 调用生成，而不需要大量的单语言数据。该数据集、微调模型和整体代码基础公开可用于此 URL。
api packmultilingual datasetapi call generationcode generationcross-lingual
发现论文，激发创造
  • 超越文本：通过 MultiAPI 基准评估揭示大型语言模型的多模态能力

    聊天 GPT 通过开发的 MultiAPI 数据集评估了多模态任务中大型语言模型的表现，研究发现在 API 调用决策、领域识别、功能选择和参数生成等方面存在挑战，并提出了解决这些问题的新方法，为未来 LLM 研究指明了方向。

    Nov, 2023

  • OctoPack：指令优化大型语言模型代码

    通过对指令进行细调，利用代码进行指令调整，以提升大型语言模型（LLMs）在自然语言任务中的性能表现，并在 Git 提交中利用人类指令的自然结构进行指令调整，实现了在 16B 参数 StarCoder 模型上超过其他自然和合成代码指令（xP3x，自我指导，OASST）的最新性能，即在 HumanEval Python 基准测试中达到 46.2％的一次通过率。

    Aug, 2023

  • CodeApex: 大型语言模型的双语编程评估基准

    CodeApex 是一个双语基准数据集，专注于评估大型语言模型（LLMs）在编程理解和代码生成能力上。数据集由三种类型的多项选择题组成，用于评估 LLMs 在编程理解任务上的能力，同时利用算法问题和相应的测试用例来评估 LLMs 生成的代码质量。通过评估包括通用和专用模型在内的 14 个先进 LLMs，发现 GPT 展现出最佳的编程能力，在两个任务上分别达到了约 50% 和 56% 的准确率。希望 CodeApex 能够作为评估 LLMs 编码能力的参考，进一步推动其发展和增长。

    Sep, 2023

  • API-BLEND：用于训练和基准测试 API LLM 的全面语料库

    本文介绍了 API-BLEND 数据集，用于训练和基准测试工具增强的大型语言模型，数据集模拟了涉及 API 任务的实际情境，如 API / 工具检测、插槽填充和检测到的 API 排序。

    Feb, 2024

  • 代码生成模型的多语言评估

    本文提出了新的基准测试，包括 MBXP，Multilingual HumanEval 和 MathQA-X，以测试多语言环境下代码生成模型的性能，并发现了多语言模型的优势，以及通过 few-shot prompting 实现对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时，作者还利用其代码生成模型在多种语言上实现了大规模引导过程，产生了其他与代码相关的评估任务中使用的合成规范解决方案。

    Oct, 2022

  • APIGen：生成可验证和多样化函数调用数据集的自动化流水线

    该论文介绍了 APIGen，一种自动化数据生成方法，旨在合成可验证的高质量数据集以支持函数调用应用。通过 APIGen，作者收集了 21 个不同类别的 3,673 个可执行 API，以可扩展和有结构的方式生成多样的函数调用数据集。而且，通过三个层次的验证（格式检查、实际函数执行和语义验证），确保了数据集的可靠性和正确性。作者演示了即使只有 7B 参数，使用他们精选的数据集进行训练的模型也能在伯克利函数调用基准测试中取得最先进的性能，超过多个 GPT-4 模型。此外，他们的 1B 模型取得了出色的性能，超越了 GPT-3.5-Turbo 和 Claude-3 Haiku。作者发布了一个包含 60,000 个高质量条目的数据集，旨在推动函数调用代理领域的发展。此数据集可在 Huggingface（链接）和项目主页（链接）上获取。

    Jun, 2024

  • Aya 数据集：一份用于多语言指导调优的开放获取集合

    本研究针对英语语言数据集的局限性，通过与全球流利的语言使用者合作，建立了覆盖 65 种语言的人工策划指令跟随数据集，并通过模板和翻译现有数据集创建了迄今最广泛的多语言数据集，共包含 5.13 亿个实例。此外，我们还提供 Aya 注释平台、Aya 数据集、Aya 集合和 Aya 评估套件等四个关键资源，而且 Aya 倡议还是一项有价值的参与性研究案例，涉及来自 119 个国家的合作者，我们认为此为未来旨在弥补资源差距的研究合作提供了宝贵的框架。

    Feb, 2024

  • Stack: 3 TB 开源许可的源代码

    本文介绍了一个包含三十种编程语言的开源代码数据集 The Stack，以及如何构建、管理和使用该数据集来训练大型语言模型，通过在 Python 子集上训练 350M 参数解码器，在文本到代码的基准测试上取得了有前途的结果。

    Nov, 2022

  • ToolLLM: 促进大型语言模型掌握 16000 + 现实世界 API

    通过引入 ToolLLM，一个包括数据构建、模型训练和评估的通用工具使用框架，我们展示了它在增强自然语言模型的规划和推理能力方面的显著影响。我们通过用 ChatGPT 创建一个工具使用指导数据集 ToolBench，并使用深度优先搜索决策树（DFSDT）扩展搜索空间，有效地获取有效的解决方案路径。通过对 LLaMA 进行微调后得到 ToolLLaMA，我们的评估器 ToolEval 显示 ToolLLaMA 在执行复杂指令和推广到未见过的 API 方面表现出卓越的能力，并与 ChatGPT 有着相当的性能。为了使流程更加实用，我们设计了一个神经 API 检索器以为每个指令推荐适当的 API，省去了手动选择 API 的繁琐步骤。

    Jul, 2023

  • LaMPilot：一个用于自动驾驶的开放基准数据集与语言模型程序

    我们提出了 LaMPilot，一个新颖的自主驾驶规划框架，将任务重新定义为一个利用已建立的行为基元的代码生成过程，旨在解决解释和执行 spontanous 用户指令（如 “超过前面的车”）的挑战，这通常对现有框架构成困难。我们介绍了 LaMPilot 基准，专门设计用于量化大型语言模型（LLMs）在将人类指令转化为可执行驾驶策略方面的效能。我们还在 LaMPilot 基准的任务上评估了一系列最先进的代码生成语言模型。实验结果显示，带有人类反馈的 GPT-4​​的任务完成率达到了 92.7％，最小碰撞率为 0.9％。为了鼓励进一步的研究，我们将提供代码和数据集。

    Dec, 2023