Oct, 2023

Ada-Instruct: 为复杂推理调整指令生成器

PDF
TL;DR通过对开源 LLMs 进行微调，我们引入了 Ada-Instruct，一种自适应指令生成器。我们的结果表明，通过仅使用十个样本对开源 LLMs 进行微调，可以生成分布一致的长指令，用于复杂的推理任务。我们在不同的应用中进行了实证验证，包括代码补全、数学推理和常识推理，结果显示 Ada-Instruct 相对于基本模型、当前自我指导方法和其他最先进模型具有优势。
instructionslarge language modelsada-instructfine-tuningcomplex reasoning tasks
发现论文，激发创造
  • 自动生成和排序黑盒语言模型的自动指导

    LLMs 可以通过遵循自然语言指令来完成各种任务，但是指令的质量会对 LLMs 的性能产生极大影响。本文提出了 Auto-Instruct 方法，通过生成多样化的候选指令并使用基于训练过的 575 个 NLP 任务的评分模型进行排序，自动提高 LLMs 的指令质量。在 118 个领域外任务的实验证明，Auto-Instruct 超越了人工编写的指令和现有 LLM 生成的指令的基线。此外，我们的方法还具有显著的泛化能力，即使对于没有被纳入其训练过程的其他 LLMs 也同样有效。

    Oct, 2023

  • EasyInstruct：大型语言模型简单易用的指令处理框架

    近年来，指导调整已经引起了越来越多的关注，并成为增强大型语言模型（LLM）功能的关键技术。为了构建高质量的指导数据集，已经提出了许多指导处理方法，旨在实现数据数量和数据质量之间的微妙平衡。然而，由于各种指导处理方法之间存在的不一致性，社区中没有标准的开源指导处理实现框架可用，这妨碍了从业者的进一步开发和进展。为了促进指导处理的研究和开发，我们提供了 EasyInstruct，这是一个易于使用的 LLM 指导处理框架，它将指导生成、选择和提示模块化，同时考虑它们的组合和互动。EasyInstruct 已在 https URL 上公开发布，并配有一个运行中的演示应用程序，用于快速启动，并呼吁更广泛的以指导数据为中心的研究。

    Feb, 2024

  • InstructCoder：赋予语言模型在代码编辑中的能力

    本研究使用大型语言模型（LLMs）和 InstructCoder 数据集，探索用户指令下的代码编辑，涵盖评论插入、代码优化和代码重构等多个隐含任务。实验证明，在 InstructCoder 数据集上对开源 LLMs 进行精细调整，能够大多数情况下正确地编辑代码，展现了前所未有的代码编辑性能水平。

    Oct, 2023

  • InstructGraph: 通过图形中心的指令调优和偏好对齐，提升大型语言模型

    通过指令调整和偏好对齐，InstructGraph 框架赋予大型语言模型（LLMs）图推理和生成能力。该框架中，我们首先提出了结构化格式化语言器来统一所有图数据，并且引入了图指令调整阶段来指导 LLMs 解决图推理和生成任务。最后，我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐，以提高模型输出的可靠性。通过多个图相关任务的广泛实验，InstructGraph 实现了最佳性能，并且超过 GPT-4 和 LLaMA2 分别 13% 和 38% 以上。

    Feb, 2024

  • 上下文指导学习

    本文发现采用上下文学习作为指示学习方法（ICIL）可提高预训练和指示微调模型的零样本任务泛化能力，使用固定的单一提示来评估所有任务。

    Feb, 2023

  • 机器教学：增强了指令对齐的代码 LLM 微调的模拟器

    通过使用 Robo-Instruct 方法，我们可以使用小型的开源权重语言模型生成域特定的机器人程序，以实现与专有权重语言模型相媲美甚至超过其性能。

    May, 2024

  • GenQA：从少数提示生成数百万个指令

    研究如何从单个提示生成大型指导数据集，使用较少的人工监督，使 LLMs 能够撰写多样化的指令示例，从简单的完成任务到复杂的多轮对话，并在知识密集型任务和对话评估中超过了 WizardLM 和 Ultrachat，在扩展性和可伸缩性方面超过了公共指导微调数据集。

    Jun, 2024

  • 你真的跟随我吗？评估大型语言模型的稳健性的对抗性指令

    通过实验，我们揭示了先进的指令跟踪模型在抵御对抗性指令攻击方面的显著局限性，并且发现了指令调优模型容易过拟合于输入的指令短语而无法真正理解应该遵循哪些指令的问题。这突出了训练模型理解提示而非仅仅遵循指令短语并完成文本的挑战。

    Aug, 2023

  • RoCoIns：通过代码风格指导提升大型语言模型的鲁棒性

    通过将代码风格的指示替代自然语言指示，本文提供了更精确的指示，并增强了大语言模型的鲁棒性。同时，通过使用干净和对抗样本来构建上下文演示，我们进一步提高了大语言模型的鲁棒性。实验结果表明，我们的方法在八个鲁棒性数据集上持续优于自然语言指令的大语言模型。

    Feb, 2024

  • 利用大型语言模型的自我批判提示用于归纳教学

    本文提出了一种名为 INDust（Inductive Instructions）的挑战基准来评估大型语言模型（LLMs）是否能够抵抗用户提供的带误导性的指令，并提出了一种名为 Self-Critique prompting 的方法来防范 LLMs 误导用户。实验证明该方法在零样本和小样本环境下都能有效提升 LLMs 的对归纳指令的处理能力。

    May, 2023