Feb, 2024

OpenMathInstruct-1：一个 180 万数学指导调优数据集

PDF
TL;DR利用合成数据集训练大型语言模型（LLMs）的巨大潜力已被展示，尤其是用于获得有针对性的技能。本研究基于开源 LLMs 的最新进展和引导创新，通过某些粗暴的扩展构建了一个包含 180 万个问题 - 解决方案对的数学指导调整数据集 OpenMathInstruct-1，并在 GSM8K 和 MATH 两个热门数学推理基准上取得了与最佳 gpt - 蒸馏模型相竞争的成绩。我们以商业许可证发布了我们的代码、模型和 OpenMathInstruct-1 数据集。
发现论文，激发创造
  • MAmmoTH2：网络中的指令扩展

    我们提出了一种新的方法，通过从预训练的网络语料库中高效地收集 1000 万条自然存在的指导数据来增强大型语言模型 (LLMs) 的推理能力，从而显著提高了模型在推理基准测试中的性能，并在多个推理和聊天机器人基准测试中获得了最先进的性能。

    May, 2024

  • OpenWebMath：一个高质量数学网页文本开放数据集

    通过基于大规模数学文档的预训练，提高大型语言模型的推理能力并引入一个开放的数学网页数据集，从而促进大型语言模型的推理能力的进展。

    Oct, 2023

  • 利用大卫对抗歌利亚：探索无需使用闭源模型的指导数据生成

    探索不依赖于封闭源模型生成高质量指令数据的替代方法，并通过整合有效的变体和两种新策略进一步提高其质量，我们的生成指令数据能够胜过依赖封闭源模型的 Alpaca 方法。希望在不使用封闭源模型的情况下能够取得更多的高质量指令数据生成进展。

    Aug, 2023

  • 开源 LLM 指令调整的自动指令优化

    通过自动修订样本来增强指令数据集的质量，CoachLM 训练自人工专家修订过的样本，并将数据集中高质量样本的比例从 17.7％提高到 78.9％。CoachLM 通过平均 29.9％的提升改善了指令调优的语言学习模型的指令跟随能力，并在华为的 LLM 数据管理系统中实现了高达 20％的效率提升。

    Nov, 2023

  • 元数学：为大型语言模型建立自己的数学问题

    我们提出了一个名为 MetaMath 的精细调整的语言模型，专注于数学推理，实验证明 MetaMath 在数学推理方面表现优于开源语言模型。

    Sep, 2023

  • GenQA：从少数提示生成数百万个指令

    研究如何从单个提示生成大型指导数据集，使用较少的人工监督，使 LLMs 能够撰写多样化的指令示例，从简单的完成任务到复杂的多轮对话，并在知识密集型任务和对话评估中超过了 WizardLM 和 Ultrachat，在扩展性和可伸缩性方面超过了公共指导微调数据集。

    Jun, 2024

  • MAmmoTH: 通过混合指导调整构建数学通才模型

    MAmmoTH 是一系列为数学问题解决而特别定制的开源大型语言模型，通过混合的证明链和思考程序的理论，提供了广泛的数学领域覆盖，取得了显著的性能提升。

    Sep, 2023

  • 小型语言模型能为较大语言模型选择调整训练数据

    通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

    Feb, 2024

  • MM-Instruct: 大型多模态模型对齐的生成视觉指令

    该研究介绍了 MM-Instruct，这是一个大规模、多样化和高质量的视觉指导数据集，旨在增强大型多模态模型（LMMs）的指令跟随能力，并通过使用现有的 LLMs 从大规模图像字幕数据集生成新的视觉指导数据，并介绍了一个基于生成的指导数据来评估现有 LMMs 的指令跟随能力的基准。

    Jun, 2024

  • M$^3$IT: 多模态多语言指令调整的大规模数据集

    本文介绍了 Multi-Modal Multilingual Instruction Tuning 数据集，其中包含了 40 个经过精心筛选的数据集，共 2.4 百万个实例和 400 个任务指令，可用于优化视觉语言模型的人类指令对齐，同时介绍了在此数据集上训练的 Ying-VLM 视觉语言模型的表现。

    Jun, 2023