Apr, 2023

WizardLM：赋能大型语言模型遵循复杂指令

PDF
TL;DR本文介绍了一种使用大型语言模型（LLM）替代人类创建指令数据的方法，通过使用我们提出的 Evol-Instruct，从一个初始指令集开始，逐步将其重写为更复杂的指令，然后将生成的所有指令数据混合起来，以调整 LLaMA 模型，获得我们所称的 WizardLM 模型。人类评估证明，Evol-Instruct 出产的指令优于人工创建的指令，尤其是在高复杂度方面，WizardLM 模型的输出被认为比 OpenAI ChatGPT 的输出更好。尽管 WizardLM 在某些方面仍落后于 ChatGPT，但我们的研究表明，用人工智能生成的指令进行微调是提升大型语言模型的一个有前途的方向。
large language modelsinstruction dataevol-instructfine-tunewizardlm
发现论文，激发创造
  • WizardCoder：用 Evol-Instruct 使大型语言模型掌握编程技能

    本文介绍了 WizardCoder，它利用 Evol-Instruct 方法将复杂的指令微调应用于代码领域，通过对四个主要的代码生成基准进行全面实验，揭示了该模型的出色能力，并超越了所有其他开源 Code LLMs，甚至在 HumanEval 和 HumanEval + 上表现出秀。

    Jun, 2023

  • 大型语言模型的自动指令演化

    Auto Evol-Instruct 是一个自动分析和总结适合给定指令数据的进化策略，并通过改进指令进化过程中暴露的问题，迭代提高进化方法的端到端框架。通过广泛的实验证明，Auto Evol-Instruct 优化的最佳方法在 MT-Bench，AlpacaEval，GSM8K 和 HumanEval 等各种基准测试中优于人工设计的方法。

    Jun, 2024

  • 大型语言模型是否能理解真实世界的复杂指令？

    通过广泛的实验证明，我们提出了 CELLO—— 一个评估大型语言模型理解复杂指令能力的基准，包括八个复杂指令特征，并从现实场景中构建了一个全面的评估数据集。我们还建立了四个标准和相应的度量方法，以比较代表性的面向中文和面向英文模型在跟随复杂指令方面的表现。

    Sep, 2023

  • 推荐作为指令跟随： 一个拥有大型语言模型的推荐方法

    该论文提出了一种以自然语言为指令的方法来开发推荐模型，这种方法可以更好地适应用户需求，实现个性化推荐，并在真实数据集上比多个竞争基线模型表现更优。

    May, 2023

  • ExpertPrompting：指导大规模语言模型成为卓越专家

    本文介绍了一种使用 ExpertPrompting 技术的方法，通过 In-Context Learning 实现了定制化的指令，并将其用于训练基于 GPT-3.5 的 ExpertLLaMA 模型，实现了与 ChatGPT 相近的对话效果。

    May, 2023

  • 自动生成和排序黑盒语言模型的自动指导

    LLMs 可以通过遵循自然语言指令来完成各种任务，但是指令的质量会对 LLMs 的性能产生极大影响。本文提出了 Auto-Instruct 方法，通过生成多样化的候选指令并使用基于训练过的 575 个 NLP 任务的评分模型进行排序，自动提高 LLMs 的指令质量。在 118 个领域外任务的实验证明，Auto-Instruct 超越了人工编写的指令和现有 LLM 生成的指令的基线。此外，我们的方法还具有显著的泛化能力，即使对于没有被纳入其训练过程的其他 LLMs 也同样有效。

    Oct, 2023

  • 从复杂到简单：增强大型语言模型的多约束复合指令跟随能力

    使用包含多个约束条件的指令来训练大型语言模型，能提高其理解复杂指令，特别是对于低复杂性水平的指令，甚至可以推广到超出领域约束的组合，同时提出了获取和利用有效训练数据的方法，并通过广泛实验验证了方法在总体性能、训练效率和泛化能力方面的有效性。

    Apr, 2024

  • 利用大卫对抗歌利亚：探索无需使用闭源模型的指导数据生成

    探索不依赖于封闭源模型生成高质量指令数据的替代方法，并通过整合有效的变体和两种新策略进一步提高其质量，我们的生成指令数据能够胜过依赖封闭源模型的 Alpaca 方法。希望在不使用封闭源模型的情况下能够取得更多的高质量指令数据生成进展。

    Aug, 2023

  • Ada-Instruct: 为复杂推理调整指令生成器

    通过对开源 LLMs 进行微调，我们引入了 Ada-Instruct，一种自适应指令生成器。我们的结果表明，通过仅使用十个样本对开源 LLMs 进行微调，可以生成分布一致的长指令，用于复杂的推理任务。我们在不同的应用中进行了实证验证，包括代码补全、数学推理和常识推理，结果显示 Ada-Instruct 相对于基本模型、当前自我指导方法和其他最先进模型具有优势。

    Oct, 2023

  • 开源 LLM 指令调整的自动指令优化

    通过自动修订样本来增强指令数据集的质量，CoachLM 训练自人工专家修订过的样本，并将数据集中高质量样本的比例从 17.7％提高到 78.9％。CoachLM 通过平均 29.9％的提升改善了指令调优的语言学习模型的指令跟随能力，并在华为的 LLM 数据管理系统中实现了高达 20％的效率提升。

    Nov, 2023